대용량 데이터처리 SW `핫이슈`

　대용량 데이터 처리 방식이 소프트웨어(SW) 업계 화두로 떠올랐다.

　데이터 용량이 페타 단위까지 이를 정도가 되면서 기존 데이터 처리 기술로는 빠르게 데이터를 처리하기 힘들어졌기 때문이다.

　20일 관련업계에 따르면,대용량 데이터 처리를 위한 다양한 신기술이 개발되고 있으며, 데이터가 점차 많아지는 중견중소기업을 위한 제품들도 출시되고 있다.

　대용량 데이터 처리에서 가장 관심을 모으는 기술은 어떻게 실시간으로 데이터를 처리할 것이며 많은 데이터 중 필요한 데이터를 찾을 것이냐에 관한 것이다.

　이러한 관심이 높아지면서 알티베이스(대표 김기완)는 최근 ‘데이터스트림’이라는 기술을 개발해 실시간 데이터 처리의 혁명을 암시했다. DBMS와 애플리케이션 중간에서 실시간 처리가 가능하도록 하는 미들웨어 기술도 개발됐다.

　마이씨큐시스템스(대표 박재홍)가 개발한 마이씨큐서버는 PC에서도 1초에 50만건의 데이터를 처리할 수 있도록 돕는다. 티맥스소프트(대표 문진일)는 IIA (Information Intelligence Architecture)를 개발해 정보활용을 극대화했다.

　데이터스트림 기술은 선저장후처리의 DBMS 기본 패러다임을 바꿔 선처리후저장 패러다임을 만듦으로써 실시간 처리가 가능하도록 했다. 티맥스의 IIA는 복잡하게 얽혀 있던 기간계와 정보계의 유기적인 데이터 교환 및 확장을 가능하게 하는 것이 특징이다.

　미국 DBMS 기업인 사이베이스의 경우 데이터 압축률을 높일 수 있는 컬럼베이스 DBMS 기술을 개발해 특허도 받았다. 컬럼 단위의 프로세싱이 가능해 일반 DBMS에 비해 90% 가까이 인풋·아웃풋 양을 줄여 성능을 대폭 향상시켰다. 뿐만 아니라 원 데이터 크기와 비교해 70∼80%로 압축해 스토리지 양도 줄일 수 있게 했다.

　데이터웨어하우스(DW)가 대중화되는 것도 주목할 만한 점이다. 데이터 가공을 위해 하드웨어와 소프트웨어를 맞춤형으로 제공하는 DW 어플라이언스 시장은 중견중소기업 시장으로 눈을 돌리고 있다.

　고가의 DW를 고집하던 테라데이타는 금융이나 서비스 업종에 있는 중견 규모의 기업들도 테라급 이상의 데이터를 보유하게 되면서 이들에게 맞는 제품을 내놓았다. DBMS 기업인 오라클은 올 초 엑사데이터라는 DW 머신을 처음으로 출시했다.

　신동수 오라클 부사장은 “DB에 관련된 시장은 그동안 정체되어 있었다고 해도 과언이 아니다”라며 “그러나 최근 그동안 미뤄져왔던 투자들이 진행되면서 다시 대용량데이터 처리에 대한 기술들이 각광을 받고 있다”고 말했다.

　 문보경기자 okmun@etnews.co.kr