아크데이타(대표 고광연·장윤철)가 관계형 데이터베이스(RDBMS) 데이터 변동내역을 하둡(Hadoop)과 하이브(Hive)로 실시간 복제가 가능한 '아크 포 빅데이터(Ark for Bigdata)'를 개발했다. 이를 기반으로 빅데이터 시장에 본격 진출할 계획이다.
'아크 포 빅데이터'는 변경데이터 캡쳐(CDC) 기술을 이용해 운영시스템에 부하를 최소화하며 RDBMS 정형데이터를 빅데이터 플랫폼으로 복제 가능한 것이 특징이다.
일반적으로 정형데이터를 빅데이터 플랫폼인 하이브에 적재하기 위한 방법으로 ETL(추출·변환·적재) 솔루션을 이용, 배치(batch)방식으로 데이터를 추출 및 적재하는 방법이 주로 사용되었다. 하지만 이 경우 데이터 소스 서버에 부하를 가중시켜 데이터 추출이 원활하게 이루어지지 않아 결과적으로 실시간 분석이 어렵다는 문제점이 있었다.
아크데이타가 개발한 아크 포 빅데이터는 데이터 추출 과정에 테이블을 스캔하는 방식에서 벗어나 트랜잭션 로그를 직접 읽어 데이터 변경 내역만을 추출한다. 운영 서버 부하를 대폭 줄여 실시간 데이터 추출 및 복제 가능해 빅데이터의 즉각적 활용이 가능하다.
사용도 간편하다. 과거 데이터 복제를 위해 테이블 단위로 복제 구성을 스크립트화하거나 ETL로 데이터플로우를 구성해야 했던 것과 달리 아크 포 빅데이터는 간단하게 복제 대상 테이블 목록에 테이블을 추가하면 복제가 완료된다.
또 추가적으로 빅데이터를 다양한 용도로 사용할 수 있도록 정형데이터 변경이력을 지정 간격으로 하둡 파일시스템에 델타 파일로 누적시키는 기능도 지원한다. 기업들은 누적된 델타 파일을 이용해 다양한 분석 DB에서 여러 목적으로 효율적인 데이터 이용이 가능하다.
고광연 대표는 “아크 포 빅데이터는 아크데이타 데이터 추출 및 복제의 모든 노하우를 녹여 넣은 노력의 산물이다. 빅데이터 시장 진출을 위한 첫 단추를 잘 꿰어 기대가 높다”며 “지속적으로 기능을 확대해 차별화된 기술과 서비스로 빅데이터 시장에 강자로 자리매김 하겠다”고 밝혔다.
정재훈기자 jhoon@etnews.com
