국가대표 인공지능(AI) 모델을 선발하는 독자 AI 파운데이션 모델(독파모) 프로젝트 2차 평가에서 글로벌 성능 지표상 스타트업 2곳이 대기업을 앞서는 결과가 나왔다.
13일 글로벌 AI 성능 평가 기관 아티피셜 애널리시스에 공개된 '아티피셜 애널리시스 인텔리전스 지수(AAII)'에서 독파모 4개 참여사 모델의 최신 점수는 모티프테크놀로지스의 '모티프 3'가 47점으로 가장 높았다.
이어 업스테이지 '솔라 오픈2'가 37점, SK텔레콤 '에이닷엑스(A.X)-K2'가 35점을 기록했다. 지난해 12월 독파모 1차 평가에서 벤치마크 종합 33.6점으로 1위를 차지했던 LG AI연구원 'K-엑사원(EXAONE) 2.0'이 31점으로 최하위를 기록했다.
이번 평가에서 가장 높은 점수를 받은 모티프는 독파모 2차에 새롭게 합류한 팀이다. 1차부터 사업을 수행해 온 기존 참여 기업들과 달리, 축적된 모델 자산이나 준비 기간 없이 제한된 기간 안에 3140억개 규모 모델의 풀 스크래치 개발과 3개 모달리티 모듈 병행 개발을 동시에 완수하며 글로벌 최상위권 성능에 도달했다는 것이 회사의 설명이다.
다만 이번 AAII 점수가 독파모 2차 평가 최종 결과를 곧바로 의미하지는 않는다. 독파모 2차 평가에서 벤치마크 평가는 총 100점 만점 중 40점을 차지하며, 이 중 AAII가 25점, 한국지능정보사회진흥원(NIA) 벤치마크 평가가 15점 반영된다. 나머지 배점은 전문가 평가(35점)와 사용자 평가(25점)로 구성된다.
AAII는 지식·추론·코딩 등 영역별 개별 벤치마크 여러 개를 묶어 단일 점수로 환산하는 종합 지수 방식이다. 모델의 전반적인 지적 능력을 하나의 수치로 비교하는 데는 유용하나, 어떤 벤치마크를 묶느냐에 따라 점수 변동이 크다. 버전 업데이트마다 수학 등 특정 분야가 통째로 빠지기도 하며, 주요 벤치마크 교체 시 10~20점 수준의 변동도 발생한다.
한국어 벤치마크가 반영되지 않는다는 점도 한계로 꼽힌다. 한국어를 포함한 다국어 이해 능력이나 특정 산업 과업에서의 성능, 운영 효율 등은 AAII만으로 가늠하기 어렵다는 것이다.
벤치마크 점수 자체의 신뢰성을 둘러싼 논란도 여전하다. AI 업계에서는 벤치마크 취약 항목을 집중적으로 공략해 실제 성능과 무관하게 점수만 끌어올리는 행위를 '벤치맥싱'이라고 부른다.
정부는 12일 마감한 국민 평가를 마지막으로 독파모 2차 평가 결과를 조만간 발표할 예정이다. 최종 평가에서 4개 참여사 중 3팀이 생존해 다음 단계로 진출한다.
정현정 기자 iam@etnews.com
