디지털 컨버전스 기업 피씨엔(PCN, 대표 송광헌)은 최근 과학기술정보통신부 R&D 과제 수행을 통해 빅데이터의 라이프 사이클을 편리하게 통합 관리할 수 있는 빅데이터 아카이빙 시스템을 개발했다고 2일 밝혔다.
해당 시스템은 빅데이터 관리를 위한 기본 데이터베이스 구조과 데이터 전달을 위한 파이프라인 방식으로 설계했다. 빅데이터 요소의 다양한 전처리 및 랭글링 기술을 포함했다. 빅데이터로 사용되는 데이터는 여러 도메인으로 나뉘고 숫자, 텍스트, 날짜 등과 같은 고유한 특징을 갖고 있다. 이러한 특징을 사용자 유형에 기반해 분석하고, 분석된 결과를 메타데이터로 프로파일링 및 시각화해 표현, 작업자가 쉽게 데이터 특성을 파악할 수 있다.
이미지, 영상과 같은 비정형 데이터의 경우 초기 전처리나 관리에 많은 시간과 비용이 소모되는 등의 문제점이 있다. 이러한 데이터를 여러 영상처리 기법을 포함한 모듈을 통해 손쉽게 처리하도록 히스토그램 추출, 투명도 처리, 선명도 향상 등의 필터 처리, 경계선 감지 등의 기능을 추가했다.
이와 함께 범용 빅데이터 관리라는 목적을 위해 메타데이터 관리 시스템 및 관리 기능을 담보한 아카이빙 기술을 포함했다. 각 관리 시스템은 MSA 기반으로 설계돼 모듈별 API를 통해 연결·융합된다. 따라서 모듈의 추가·삭제가 용이하다. 권한·인증을 통한 보안성을 강화했으며 데이터 이용 현황과 흐름에 대한 모니터링을 지원한다.
일반적인 데이터 전처리에서 사용하는 각종 데이터베이스 뿐만 아니라 FTP 저장소, 하둡 저장소의 데이터 관리를 지원, 데이터 통합 관리와 대용량 분산 고속 전처리가 가능하다.
이금탁 피씨엔 R&D본부 전무는 “PCN의 빅데이터 아카이빙 시스템을 이용해 데이터의 수집부터 전처리, 저장, 관리, 분석, 시각화, 배포 등의 데이터 라이프 사이클을 관리하면, 신뢰도와 효율성이 높은 데이터 관리와 더불어 향후 빅데이터 및 AI 활용 산업에 보다 큰 기여를 할 수 있을 것”이라고 말했다.
윤대원기자 yun1972@etnews.com
