투디지트, 국내 자연어 AI 엔진 모든 기록 갱신…한국어 LLM 평가 리더보드 1위 등극

Photo Image
투디지트는 한국지능정보사회진흥원(NIA) 지원으로 운영하는 한국어 LLM 평가 리더보드 '오픈 Ko-LLM 리더보드'에서 1위에 등극했다.(출처 셔터스톡)

금융 자연어처리 인공지능(AI) 전문기업 투디지트(대표 박석준)는 한국지능정보사회진흥원(NIA) 지원으로 운영하는 한국어 거대언어모델(LLM) 평가 리더보드 '오픈 Ko-LLM 리더보드'에서 1위에 등극했다고 14일 밝혔다.

투디지트는 그동안 이 대회에 참여한 1000개의 AI 모델 가운데 최초로 평균 점수 60점을 넘어서면서 모든 기록을 갱신하고 1위에 올랐다. 2위로 내려간 모델과의 점수 차이는 1점 이상이다. 기존 1위와 2위의 점수 차이가 0.05점이었다는 점과 평균 점수 60점을 넘은 모델이 없었다는 점을 보면 회사의 AI 기술력을 알 수 있다는 설명이다.

특히 투디지트는 자연어 AI 기술을 사업에 적용할 지를 판단하는 중요한 요소인 상식 능력(HellSwag)부분에서 압도적인 점수 69.62점을 기록했다. 그동안 세계무대에서 경쟁하면서 쌓아온 기술로 대한민국 초거대 AI기술개발에 도움을 주기 위해 이번 대회에 참가했다.

이 회사는 컴퓨터가 글을 이해하는 자연어 AI 분야에서 세계적인 강자로 인정받아 왔다. 세계 무대에서 3대 자연어 AI 대회로 불리는 스탠퍼드대 주최의 'SQuAD2.0'과 구글 주최의 GLUE에서 구글 리서치, 페이스북 AI, 마이크로소프트보다 높은 성능을 보였다. 두 대회에서 모두 인간의 독해와 이해 능력을 뛰어넘는 성과를 보였던 소수의 기업 중 유일한 한국 기업이었다.

투디지트가 보유한 기술이 특히 중요한 이유는 앞서가는 파인튜닝 기술과 노하우 때문이다. 일반인들이 AI라고 말하는 글로벌 기업 AI의 정식 명칭은 파운데이션 언어모델이다. 최근 한국 기업이 개발한 언어모델들은 파운데이션 모델을 한국어로 학습시킨 것이다. 하지만 초거대 언어모델을 유지하기 위해서는 엄청난 리소스와 막대한 비용이 필요하다. 따라서 AI 기술로 새로운 서비스를 도입하기 위한 비용이 기업에는 부담으로 존재한다.

투디지트의 파인튜닝은 이러한 문제점을 해결하는 기술이다. 특정한 목적을 위한 엔진을 개발하고 경량화 시스템으로 비용을 절감할 수 있다. 적용 사업 분야 중 하나는 세상 모든 사람을 위한 AI 1인 신문 서비스이다. 한 개 플랫폼 사용자가 수백만~수천만명 시대에 모든 플랫폼 사용자에게 자신을 위한 맞춤형 AI 1인 신문을 제공할 수 있다. 모든 사용자가 서로 다른 자신만의 서비스를 이용하게 되는 것이다.

투디지트의 AI 1인 신문은 다양한 형태의 서비스로 존재한다. 현재 한국과 미국의 경제소식을 전하는 '뉴스샐러드'를 운영 중에 있다. 올해 2분기부터는 사용자가 원하는 소식을 AI가 미리 찾아서 알려주는 '뉴다' 서비스를 론칭한다. 한 명만의 소식을 담는 '셀럽스타' 서비스도 함께 준비 중이다. 셀럽스타의 파일롯 버전으로 '폴리스타'를 지난 11일 안드로이드와 아이오에스 공개하면서 AI 뉴스 서비스의 효과를 모바일 정치분야에서도 보여주고 있다.

박석준 대표는 “4월 국회의원 선거에서 모바일 AI 폴리스타는 정치는 모르지만 모바일 의존도가 높은 MZ세대에게 특히 강력한 영향력을 발휘할 것을 예상한다”며 “자연어 AI 기술로 세상 모든 사람들의 휴대폰에서 AI 1인 신문 서비스를 제공하겠다는 원대한 비전에 많은 관심을 당부한다”고 말했다.


광주=김한식 기자 hskim@etnews.com


브랜드 뉴스룸