DGIST가 '암흑데이터'를 이용한 차세대 빅데이터 플랫폼 기술 개발에 나섰다.
암흑데이터는 데이터 규모가 너무 방대하거나 무한히 생성돼 저장하거나 분석하지 못하는 데이터다. 어딘가 저장돼 있지만 존재 여부나 필요성을 몰라 활용하지 못하고 있다. 전체 데이터의 90% 이상을 차지한다.
DGIST(총장 손상혁)는 과학기술정보통신부 '2018년 선도연구센터지원사업'에 암흑데이터 극한 활용 연구센터가 공학분야(ERC) 지정 공모에 선정, 국비와 시비 109억원을 지원받아 오는 2024년까지 암흑데이터를 이용한 차세대 빅데이터 플랫폼 기술을 개발한다고 29일 밝혔다.
개발 사업에는 DGIST를 중심으로 서울대, 포스텍, 성균관대, 서울대병원, 한국과학기술정보연구원, 한국뇌연구원 소속 전문가 11명이 참여한다.
DGIST 암흑데이터 극한 활용 연구센터는 암흑데이터의 대부분을 차지하고 있는 비정형 데이터를 수집, 저장, 관리, 처리해 필요한 정보를 분석하거나 활용할 수 있는 차세대 정보플랫폼 원천기술을 개발할 계획이다.
대규모 데이터를 언제 어디서나 저장·공유하고 누구나 간편하게 분석·활용할 수 있도록 블록체인 기반 탈중앙 분산 파일시스템, 그래픽처리장치(GPU), 솔리드스테이트드라이브(SSD) 기반 초고속 데이터처리 기술, 엣지컴퓨팅 등 융합기술을 연구한다.
데이터에 대한 메타데이터와 이력정보를 자동추출 및 공유해 암흑데이터 발생을 원천 차단할 수 있는 인공지능, 블록체인, 지능형 분산검색 기술도 개발할 예정이다.
김민수 DGIST 정보통신융합공학전공 교수는 “10% 미만의 데이터만 활용하던 스몰데이터 시대에서 나머지 90% 이상의 암흑데이터까지 활용하는 진정한 빅데이터 시대로 패러다임을 전환하는 기술을 개발하고자 한다”고 말했다.
대구=정재훈기자 jhoon@etnews.com
