크라우드웍스는 비정형 데이터를 인공지능(AI)용 데이터로 전환하는 AI 데이터 파서 '알피 날리지 컴파일러'의 데모 서비스를 자사 홈페이지를 통해 공개했다고 4일 밝혔다.
'알피 날리지 컴파일러'는 기업 내 여러 시스템에 흩어져있는 비정형 문서를 검색증강생성(RAG) 기반 AI 서비스에 최적화된 데이터로 변환해주는 솔루션이다.
문서 복잡도를 정량적으로 평가하는 특허 기술을 기반으로 전처리 자동화 수준을 정밀하게 조정할 수 있도록 했다. 파싱(Parsing) 이전 단계에서 문서를 복잡도에 따라 분류해 자동 처리 대상과 전문가 정밀 파싱이 필요한 문서를 선별함으로써 대규모 문서 환경에서도 전처리 효율과 데이터 품질을 동시에 확보할 수 있다고 회사는 설명했다.
크라우드웍스는 최근 국내 한 금융사를 대상으로 중앙처리장치(CPU) 기반 환경에서 150만개 이상의 다양한 비정형 문서를 RAG 데이터로 변환하는 프로젝트를 성공적으로 완료했다.
온프레미스와 클라우드 환경을 모두 지원하며, 그래픽처리장치(GPU) 뿐 아니라 CPU에서도 운영할 수 있어 비용 효율적인 RAG 데이터 파이프라인 구축이 가능하다.
크라우드웍스 관계자는 “AI 시대에서는 얼마나 좋은 모델을 쓰느냐 보다 얼마나 잘 설계된 데이터를 보유하고 있느냐가 경쟁력을 좌우한다”며 “앞으로도 데이터 품질을 정량화하고 표준화하는 기술을 통해 AI 데이터 산업의 기준을 만들겠다”고 말했다.
정현정 기자 iam@etnews.com
