대구경북과학기술원(DGIST·총장 국양)이 빅데이터를 4배 빠르게 처리할 수 있는 데이터 처리 기술을 개발했다.
DGIST는 김민수 정보통신융합전공 교수팀이 산업 분야에서 가장 많이 사용하는 관계형 데이터를 컴퓨터 여러 대에서 분산처리하는 '그래픽 기반 분할 테이블(GPT)' 기술을 개발했다고 21일 밝혔다.
김 교수팀은 관계형 데이터를 구성하는 데이터 테이블은 정점으로, 테이블간 조인관계는 선으로 설정하는 등 데이터를 그래프 위의 점과 선의 관계로 모델링 했다. 또 허브 역할을 하는 데이터 테이블을 기준으로 나머지 데이터 테이블을 수평분할해 각 컴퓨터에 나눠 저장해 네트워크 통신을 줄였다. 기존 방식은 네트워크로 연결한 컴퓨터 사이에 많은 양의 네트워크 통신이 필요했다.
이렇게 개발한 GPT 기술은 업계 표준 방식인 TPC-DS를 이용한 데이터 처리성능에 비해 평균 4.2배 빠른 처리속도를 보였다.
김민수 교수는 “빅데이터에 흥미를 갖고 시작한 연구가 방대한 양의 데이터를 처리하는 기술 연구로 이어지게 됐다”며 “관계형 데이터 처리 기술은 커져가고 있는 데이터 양과 그 복잡성을 고려해 볼 때 매우 유용하게 활용될 것으로 기대한다”고 말했다.
대구=정재훈기자 jhoon@etnews.com
