실시간 데이터 복제 솔루션 기업 아크데이타와 빅데이터 기업 빅아이디언은 공동으로 정형데이터(RDBMS)의 데이터 변동내역을 하둡(Hadoop)으로 실시간 복제가 가능한 '아크 커넥터 포 하둡 (Ark Connector for Hadoop)'을 출시했다.
하둡은 대규모 데이터 처리를 위한 오픈 소스 프레임워크로, 분산 저장(HDFS)과 분산 처리(MapReduce)를 통해 데이터를 처리하며, 여러 대의 서버를 이용해 데이터와 작업을 분산해 대규모 데이터 처리 성능을 높인다.
일반적으로 정형데이터를 빅데이터 플랫폼인 하둡으로 적재하기 위한 방법으로 ETL(Extract, Transform, Load) 솔루션을 이용해 배치(batch) 방식이 사용됐다. 하지만 이 경우 데이터 소스 서버에 부하를 가중시켜 데이터 추출이 원활하게 이루어지지 않아 실시간 분석이 어려웠다.
아크데이타는 원천DB의 변경된 데이터를 실시간으로 하둡으로 복제할 수 있는 CDC(Changed Data Capture) 기반의 하둡 커넥터(Hadoop Connector)를 개발해 데이터베이스의 변경 사항을 실시간으로 하둡에 반영해 빅데이터 분석을 수행할 수 있도록 했다. 이는 최신 데이터를 기반으로 빠르고 정확한 의사 결정을 내릴 수 있도록 해 기업 경쟁력을 강화하고 서비스 효율성을 높일 수 있다.
아크데이타의 하둡 커넥터는 변경된 데이터만 전송하는 CDC기술을 사용해 데이터의 변경 사항만 전송하기 때문에 네트워크와 하둡 클러스터의 리소스를 효율적으로 사용해 시스템의 성능을 최적화하고 처리 비용을 절감할 수 있다.
아크데이타는 현재 CDC 기반의 카프카 커넥터(Kafka connector)로 카프카 환경에서 실시간 빅데이터 구축이 가능하도록 제품을 제공하며, 향후 다양한 빅데이터 플랫폼 지원을 위한 기술을 개발 중이다.
이원지 기자 news21g@etnews.com
