데이터 복제 통합솔루션 전문기업 아크데이타(대표 고광연)가 아파치 카프카(Apache Kafka) 플랫폼을 지원하기 위한 실시간 데이터 복제 솔루션 '아크 포 카프카(Ark for Kafka)'를 출시했다고 9일 밝혔다.
아파치 카프카는 아파치 소프트웨어(SW) 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 높은 처리량과 낮은 지연시간을 지닌 플랫폼이다. 실시간 스트리밍 데이터를 처리할 수 있는 장점이 있어 주로 세계적 기업들이 사용하고 있다.
아크데이타가 출시한 아크 포 카프카는 데이터 파이프라인 복잡성으로 운영·관리에 어려운 기존 시스템 데이터 활용 환경을 개선하기 위해 변경된 데이터 캡처(CDC:Changed Data Capture) 기술과 카프카 커넥터(Kafka Connector)를 접목해 개발했다.
기존 아크데이타 씨디씨(CDC) 제품인 '아크 포 씨디씨'(Ark for CDC)가 추출한 데이터베이스를 프로듀서(Producer) 커넥터를 통해 카프카에 전달하는 간단한 저장 프로세스를 거친다. 수집된 데이터는 컨슈머 커넥터를 통해 사용자가 원하는 타깃 데이터베이스(DB)에 전달할 수 있다.
아크 포 카프카는 모든 과정을 하나의 솔루션으로 설계했다. 일련의 과정을 단순화해 사용자가 더욱 쉽게 카프카 플랫폼을 사용하도록 하는데 개발 초점을 맞췄다. 아크 포 카프카를 도입한 기업은 수집한 데이터를 활용해 새로운 비즈니스를 창출할 수 있을 뿐만 아니라 카프카를 통해 시스템 통합이 간소해져 서비스 간 연속성을 높일 수 있다.
씨디씨와 카프카 프로듀서, 컨슈머를 단일 솔루션으로 설계해 별도 솔루션이 필요하지 않다. 데이터 볼륨, 사용자 증가에도 추가 비용 없이 유연하게 대응할 수 있는 게 장점이다.
특히 확장성이 뛰어나 다양한 관계형 데이터베이스 관리시스템(RDBMS)과 하둡(Hadoop:여러 컴퓨터를 마치 하나인 것처럼 묶어 대용량 데이터를 처리하는 기술)과 연동은 물론 베어메탈 서버(BareMetal Server), 클라우드, 도커와 쿠버네티스(Docker·Kubernetes) 등 다양한 환경을 지원한다.
운영 관리 편리성과 비용 절감 효과도 큰 장점이다. 간단한 설치로 어떤 시스템에도 설치 가능하며, 직관적이고 쉬운 설치 방법을 제공, 초급 엔지니어도 쉽게 시스템을 구성할 수 있다. 별도 구매 없이 웹 기반 모니터링 매니저를 제공해 운영 편의성을 높였다. 사용자 환경에 최적화된 작업 환경을 제공하기 위해 오픈(Open) API도 제공한다.
고광연 대표는 “아크 포 카프카를 통해 쉽고 빠르게 카프카 플랫폼 구축이 가능해져 기업에서 효율적인 데이터 수집과 배포할 수 있다”라며 “외산 솔루션과 비교해 60% 이상 비용을 절감하고, 별도 라이선스 구매 없이 모니터링 기능을 제공해 보다 많은 기업에서 카프카를 활용할 수 있을 것”이라고 밝혔다.
정재훈기자 jhoon@etnews.com
