투디지트(대표 박석준)는 자연어 처리 모델과 데이터셋을 개발·공유하는 세계 최대의 오픈소스 플랫폼 허깅페이스가 운영하는 '오픈 거대 언어 모델(LLM) 리더보드'에서 24일 기준 세계 최초로 80점의 벽을 완벽하게 돌파하며 세계 1위를 차지했다고 26일 밝혔다.
이 대회는 초거대언어모델로 추론·상식·언어 이해 종합·환각 현상 방지·대명사 참조·수학 해결 등 6가지 분야에서 테스트를 진행해 분야별 점수 평균으로 세계 순위를 결정한다. 기존 참가자들의 점수보다 높으면 순위가 올라가고, 점수가 낮으면 순위가 내려가기 때문에 등수보다 점수가 중요하다.
투디지트는 한국기업을 포함해 5747개 모델을 제치고 전체 평균에서 81.22점으로 세계 최초로 평균 80점을 넘었다. 6가지 세부 분야 가운데 추상적 추론과 추론 능력평가인 AI2 추론 챌린지(ARC) 세계 1위, 추론 능력/헬라스웨그(hellaSwag)에서 세계 2위를 차지했다. ARC는 초등학교 수준의 과학문제로 이뤄진 데이터셋이며, 헬라스웨그는 상식 추론능력을 평가하기 위한 데이터셋이다.
투디지트가 초거대언어모델 분야에서 단기간에 국내 1위, 세계 1위를 모두 할 수 있는 이유는 그 동안 세계무대에서 경쟁하면서 개발한 자연어 인공지능(AI) 기술이 있었기 때문이다.
보름도 안 되는 짧은 기간 △3월 12일 국내 최초로 평균점수 60점의 벽을 돌파하면서 한국지능정보사회진흥원(NIA)의 한국어 모델 부문인 '오픈 Ko-LLM 리더보드'에서 국내 1위 △3월 19일 7점으로 국내 1위 점수 갱신, 모델·코드 전격 공개 △3월 24일 첫 출전한 오픈 거대 언어모델 리더보드 대회에서 세계 최초로 평균점수 80점 돌파 세계 1위 달성 등을 기록했다.
박석준 투디지트 대표는 “AI 랩 연구자들이 그동안 사업을 위한 개발에만 집중하느라 대회에 참여할 수 있는 시간이 없어서 아쉬웠다”면서 “잠시나마 국내, 세계 대회를 준비했던 과정이 즐거운 추억이었으며 기술적으로는 '자체 생성 데이터 셋 생성(SGD) 방법'이라는 최신 연구 결과를 적용해 데이터셋 전처리 기술로 모델 학습 효율을 빠르게 향상할 수 있다는 것을 다시 한번 입증했다”고 말했다.
박 대표는 “우리나라 AI 기업을 비롯해 글로벌 기업조차 넘어설 수 없었던 80점을 세계 최초로 돌파하려고 한 이유는 우리의 기술을 뽐내기 위해서가 아니라 AI대회란 기업 홍보와 투자를 받기 위해 한 순간의 순위를 경쟁하는 곳이 아닌 ”우리는 이렇게 해봤다. 이걸 가지고 당신들은 어떻게 해볼래?'라며 물어보는 과정에서 함께 발전할 수 있을 것”이라고 말했다.
광주=김한식 기자 hskim@etnews.com
