국내 대학 연구진이 클라우드 기반 오픈소스 데이터웨어하우스(DW) 시스템을 개발했다. 고려대학교 정연돈 교수 연구팀은 빅데이터를 처리하는 클라우드 DW 시스템 `타조(Tajo)`를 개발, 국내 대학 중 처음으로 아파치재단 오픈소스 프로젝트 인큐베이션을 승인받았다고 17일 밝혔다.
DW는 데이터를 저장·분석하는 시스템이다. 클라우드로 전환하기 힘든 영역 중 하나로 오픈소스로 개발된 클라우드 DW시스템은 세계 최초라는 게 연구진 설명이다. 연구진은 하둡 분산처리, 맵리듀스 병렬처리 사용에 따른 비효율성 극복을 위해 단순하고 사용이 편리한 병렬처리 기법을 적용했다.
타조는 DB 표준언어인 SQL로 작성된 복잡한 사용자 질의를 클라우드 기반으로 처리한다. 사용자 질의에 대해 효율적 분산 질의 수행 계획을 자동으로 생성한다. 수립된 계획에 따라 여러 서버에서 동시에 작업을 수행한다.
SQL을 지원하기 때문에 비전문가도 손쉽게 사용할 수 있다는 게 타조의 장점이다. 기존 시스템 대비 최대 4배의 성능을 낼 수 있다. 무엇보다 클라우드 기반 오픈소스 DW시스템 기술을 선도할 수 있는 기반을 마련했다는 게 이번 프로젝트의 가장 큰 성과다.
활용 분야는 다양하다. 고객 데이터 분석을 통한 마케팅과 제품 판매실적·재고 분석에 사용할 수 있다. 온라인 쇼핑몰 소비자 구매 패턴 분석과 의료 데이터 분석, 통계 등에도 활용할 수 있다.
이 시스템은 지난 7일 아파치 소프트웨어 재단(ASF)으로부터 오픈소스 프로젝트 인큐베이션 승인을 받았다. ASF는 오픈소스 프로젝트를 지원하는 세계 최대 비영리 단체다. 140여개 오픈소스 프로젝트를 지원하고 있다.
국내 대학이 아파치 오픈소스 프로젝트에 인큐베이팅된 것은 처음이며 전 산업군을 통틀어서도 두 번째 사례다. 연구진은 아파치 오픈소스 프로젝트에 참여함으로써 학술적·기술적으로 기여하고 상업적으로도 빅데이터 산업 발전에 이바지할 수 있다고 전했다.
고려대학교는 국내 기업 중 그루터와 이너비트, 해외 기업인 인텔, 링크드인, 호톤웍스 등의 개발자들과 아파치 프로젝트를 시작한다. 내달 8일부터 열리는 관련 분야 최고 권위 학술대회 `IEEE ICDE`에서 발표와 시연을 진행한다.
정연돈 교수는 “아파치 인큐베이팅 프로젝트로 승인받았다는 것은 시스템 성능과 신뢰성 등을 국제적으로 인정받았다는 의미”라며 “지속적으로 기능을 추가하고 성능을 강화해 DB 분야에서 우리나라가 널리 이름을 알릴 수 있도록 노력하겠다”고 포부를 밝혔다.
안호천기자 hcan@etnews.com
