'독자 인공지능(AI) 파운데이션 모델'(독파모) 평가에서 SK텔레콤이 첫 1위를 차지했다. 발표평가·1차 단계평가에서 1위를 기록했던 LG AI연구원은 3위로 턱걸이 통과했다.
과학기술정보통신부가 27일 공개한 독파모 2차 평가결과에 따르면 SK텔레콤이 70.6점으로 1위를 차지했다. 이어 업스테이지(69.9점), LG AI연구원(69.0점), 모티프테크놀로지스(65.8점) 순이었다.
5개 주요 평가항목 중 한국지능정보사회진흥원(NIA)의 벤치마크 평가결과가 최종 순위와 정확히 일치했다.
이날 과기정통부 평가점수 공개는 이날 모티프의 2차 평가 이의제기 신청에 따라 이뤄졌다. 모티프는 글로벌 벤치마크 테스트에서 47점이라는 고득점을 획득했음에도 탈락한 것에 대해 이의를 제기하며 점수 공개를 요청했다.
아티피셜 애널리시스 AI 인덱스(AAII) 벤치마크 평가결과, 모티프의 '모티프3'는 47점으로 업스테이지(37점)·SK텔레콤(35점)·LG AI연구원(31점) 등 다른 2차 평가 모델을 압도했기 때문이다.
이렇듯 AAII 벤치마크 평가점수를 25점 만점으로 환산한 글로벌 벤치마크 테스트 결과는 모티프 정예팀(11.9점)이 1위였다. 업스테이지 정예팀이 9.4점으로 2위, SKT 정예팀이 8.8점으로 3위, LG AI연구원이 7.8점으로 4위 등 뒤를 이었다.
NIA 벤치마크 평가점수는 SK텔레콤 정예팀이 13.4점으로 1위, 업스테이지 정예팀이 13.3점으로 2위, LG AI연구원 정예팀이 12.8점으로 3위, 모티프 정예팀이 12.7점으로 4위를 기록했다.
산업계 3명, 학계 5명, 연구계 2명 등 외부 전문가 평가는 LG AI연구원 정예팀이 29.5점으로 1위, SKT 정예팀이 29.3점으로 2위, 업스테이지 정예팀이 29.1점으로 3위, 모티프 정예팀이 27.1점으로 4위였다.
49명의 AI 전문 사용자가 참여한 평가에서는 SKT 정예팀이 11.6점으로 1위, LG AI연구원 정예팀이 11.3점으로 2위, 업스테이지 정예팀이 10.8점으로 3위, 모티프 정예팀이 8.4점으로 4위로 집계됐다.
국민 185명의 평가에서는 LG AI연구원이 7.6점으로 1위, SKT 정예팀이 7.5점으로 2위, 업스테이지 정예팀이 7.3점으로 3위, 모티프 정예팀이 5.7점으로 4위였다.
모티프가 AAII 벤치마크를 제외한 나머지 4개 평가에서 모두 4위를 기록하며 최종 4위로 3차 단계평가 진출에 실패한 것이다.
과기정통부는 “우리 기업들이 단순히 점수나 순위로 평가받기 보다 자체 저력과 역량을 바탕으로 국내외 AI생태계에 폭넓게 기여하고, 우리 AI 생태계가 새롭고 경쟁력 있는 AI기업들이 끊임없이 도전하는 역동적인 생태계로 발전해 나가기를 기대한다”고 밝혔다.
박종진 기자 truth@etnews.com
