독파모 2차 평가가 남긴 숫자와, 남기지 않은 숫자
시험에서 1등을 하고도 떨어지는 일이 있다. 그런 일이 벌어지면 우리는 보통 두 가지를 궁금해한다. 왜 떨어졌는가, 그리고 그 시험은 애초에 무엇을 재는 시험이었는가.
과학기술정보통신부가 18일 발표한 '독자 인공지능(AI) 파운데이션 모델'(독파모) 개발 사업 2차 평가 결과가 딱 그런 모양이다. LG AI연구원과 SK텔레콤, 업스테이지가 다음 단계로 갔고 모티프테크놀로지스가 자리를 떴다. 여기까지는 선명하다. 그런데 발표문을 몇 번을 읽어도 '누가 남았는가' 말고는 손에 잡히는 게 없다. 왜 그렇게 됐는지를 숫자로 되짚어볼 방법이 없기 때문이다.
평가는 세 덩어리로 이뤄졌다. 벤치마크 40점, 전문가 평가 35점, 이용자 평가 25점. 네 팀의 평균은 벤치마크 22.5점, 전문가 28.8점, 이용자 17.6점이었고, 1위와 4위의 격차는 각각 4.0점, 2.4점, 5.0점이었다. 가장 크게 벌어진 곳은 성능이 아니라 이용자 평가였다.
■ 세계 10위의 모델이 짐을 쌌다
떨어진 쪽을 먼저 보자. 모티프테크놀로지스의 'Motif 3'는 글로벌 AI 성능 지수인 AAII(아티피셜 애널리시스 인텔리전스 인덱스)에서 47점을 받았다. 참가한 네 팀 가운데 1위이고, 전 세계 모델을 통틀어도 10위다. 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점과 견주면 격차가 작지 않다.
그럼에도 모티프는 남지 못했다. 국내 벤치마크와 전문가·사용자 평가에서 앞서 1차를 통과한 세 팀을 넘어서지 못한 결과로 읽힌다. 정부의 설명도 비슷한 결을 짚는다. 세 평가 영역의 1위가 전부 달랐고, 처음부터 끝까지 1등을 지킨 기업은 없었다는 것이다. 요컨대 글로벌 성능에서 가장 앞섰던 팀이 '얼마나 잘 쓰이는가'라는 문턱을 넘지 못했다. 이번 발표의 진짜 이야기는 여기에 있다.
■ 16점이 4점이 되는 과정
숫자 하나가 계속 눈에 밟힌다. AAII 원점수에서 1위 모티프와 4위 LG의 차이는 16점이다. 그런데 벤치마크 40점 항목에서 1위와 4위의 차이는 4.0점이다. 16점의 성능 차이가 4점으로 접힌 셈이다.
접힌 자리를 찾으려면 벤치마크 40점의 속을 열어봐야 한다. 이 점수는 AAII 25점과 한국지능정보사회진흥원(NIA) 자체 평가 15점을 더한 것이다. AAII가 에이전트와 코딩, 일반 능력, 과학적 추론 같은 글로벌 성능을 잰다면 NIA는 수학과 지식, 장문 이해, 한국어, 안전성, 신뢰성을 본다. 성격이 사뭇 다른 두 자를 한 배낭에 넣어 무게를 잰 것이다. 모티프가 AAII 1위를 하고도 종합 벤치마크 격차가 4점으로 좁혀졌다면, 글로벌 성능에서 벌어둔 몫을 국내 언어와 안전성 영역에서 상당 부분 되돌려줬을 가능성이 크다. “세 영역의 1위가 모두 달랐다”는 정부의 말 역시, AAII 1위가 종합 벤치마크 1위는 아니었을 수 있음을 넌지시 알려준다.
다만 여기까지는 어디까지나 추정이다. 16점이 4점으로 줄어드는 과정이 정확히 어느 항목에서, 어떤 계산식을 거쳐 일어났는지 확인할 방법이 없다. 팀별 세부 점수도, AAII 원점수를 25점 만점으로 바꾸는 환산식도 공개되지 않았다. 격차가 좁았다는 사실은 알려주면서, 그 좁음이 NIA 점수에서 온 것인지 환산 방식에서 온 것인지는 확인할 수 없게 되어 있다.
■ 점수는 없고 격차만 있다
개별 팀의 종합점수가 공개되지 않은 점도 짚어둘 만하다. 평균과 1위-4위 격차만 제시된 탓에, 모티프가 3위 팀에 아슬아슬하게 밀렸는지 크게 뒤졌는지 알 도리가 없다. AAII 원점수처럼 일부 지표는 열려 있지만, 정작 탈락을 결정한 종합점수의 무게는 닫혀 있다. '종합평가 최하위'라는 표현은 순서를 알려줄 뿐, 그 순서가 얼마나 얇은 종이 한 장 차이였는지는 말해주지 않는다.
물론 비공개에는 나름의 사정이 있을 것이다. 이의제기와 소모적 논란을 피하려는 판단일 수 있다. 정부도 손을 놓고 있지는 않았다. 일부 참여사를 둘러싼 '벤치마킹(과적합)' 의혹에 대해 과기정통부는 AAII 운영사인 아티피셜 애널리시스에 공식 확인을 의뢰했고, 체계적인 암기나 과적합을 입증할 단서를 찾지 못했다는 답을 받았다고 밝혔다. 항목별 격차가 근소해 어느 한 항목이 결정적이었다고 보기 어렵다는 설명도 덧붙였다. 그러니 점수 비공개를 향한 비판은 유효하되, 이 배경까지 함께 놓고 봐야 저울이 기울지 않는다.
문제는 성실한 해명과 검증 가능한 해명이 같은 것은 아니라는 데 있다. 국가 예산이 들어간 사업에서 결과를 숫자로 되짚을 길이 없다면, 그 결과는 신뢰의 영역에 남을 뿐 확인의 영역으로 넘어오지 못한다.
■ 무엇을 열어달라는 요구인가
업계에서도 세부 자료를 공개해 달라는 목소리가 공식적으로 나왔다. 이데일리 보도에 따르면, 정부의 '근소한 차이'라는 설명만으로는 결과가 어떻게 나왔는지 확인할 수 없다며 아홉 가지 항목의 공개를 요청하는 제보가 접수됐다. ① 네 팀의 세부 항목별 점수와 최종 순위, ② AAII·NIA 원점수의 환산식, ③ 전문가 평가위원 선정과 이해충돌 배제 절차, ④ 익명화된 전문가 평가 점수 분포, ⑤ 전문 사용자·국민평가의 블라인드 여부, ⑥ 평가 문항과 모델 노출 순서, ⑦ 중복 참여 방지 방식, ⑧ 3위와 4위의 실제 총점 차이, ⑨ 이의제기 절차다.
제보자는 결과를 뒤집어 달라는 뜻이 아니라 국민 세금이 들어간 선발 과정의 재현성과 설명 책임을 확인하고 싶은 것이라고 했다. 목록을 하나씩 뜯어보면 이 말이 과장이 아님을 알 수 있다. 아홉 항목은 판정을 흔들기 위한 무기가 아니라, 과학적 실험에서 재현 가능성(reproducibility)을 확인할 때 쓰는 가장 기본적인 조건들에 가깝다. 원점수와 환산식이 열리면 16점이 4점으로 접힌 구조를 밖에서도 따져볼 수 있고, 평가위원 선정 절차와 블라인드 여부는 전문가·이용자 평가의 신뢰도를, 문항과 모델 노출 순서, 중복 참여 방지 방식은 이용자 평가의 편향 통제를, 3위와 4위의 총점 차이는 탈락의 무게를 각각 가늠하게 해준다. 이 중 하나만 열려도 '평균과 격차'라는 흐릿한 서술은 훨씬 단단한 숫자로 바뀐다.
바꿔 말하면 지금 닫혀 있는 아홉 개의 창이 이번 평가의 어두운 방이다. 정부가 공정했다고 말할 근거는 있다. 다만 국민이 공정했는지를 스스로 확인할 근거는 이 창들이 열려야 비로소 생긴다.
■ '모델 경쟁'이라 부르지만
품질 논란의 다른 축은 전문가 평가 35점이다. 공개된 평가위원회 의견을 보면 업스테이지는 개발 성과를 국민이 체감할 수 있도록 포털 '다음', '타임리' 플랫폼과 연계를 추진한 점과 퓨리오사AI NPU 협업으로 외산 하드웨어 의존을 낮춘 점이, SK텔레콤은 국방 분야용 A.X K1 모델 제공과 제조 산업 특화 에이전트 실증, 법무·세무 분야 시연이, LG AI연구원은 글로벌 국제기구와의 협업 전략과 에이전틱 AI의 차별성이 높은 평가를 받았다.
이 가운데 모델 자체의 성능을 직접 언급한 대목은 SK텔레콤의 수리 추론과 한국어 영역 성적 정도다. 나머지는 플랫폼 연계, 하드웨어 국산화, 산업 실증, 글로벌 협업, 안전·신뢰 체계처럼 사업을 어떻게 펼칠 것인가에 가까운 이야기다. 실제로 전문가 평가의 항목은 '개발 전략 및 기술', '개발 성과 및 계획', '파급효과 및 기여계획'으로 정해져 있다. 성능을 재는 자가 아니라 계획을 묻는 자다.
그래서 독파모라는 경쟁의 정체를 다시 생각하게 된다. 100점 가운데 모델의 성능을 묻는 것은 벤치마크 40점뿐이고, 나머지 60점은 전략과 확산, 체감에 배정돼 있다. AAII 1위 모티프의 탈락도 이 구조와 무관하지 않을 것이다. 이름은 'AI 모델' 경쟁이지만, 절반 이상은 어떻게 퍼뜨리고 누구와 손잡고 어떤 산업에 붙일 것인가를 묻고 있으니 말이다. 그것이 나쁜 질문이라는 뜻은 아니다. 다만 그렇다면 이 대회의 이름표는 조금 달라져야 한다.
■ 문을 닫아두고 문턱을 재다
모티프의 탈락을 이해하려면 평가 설계와 컨소시엄 구성이 맞물린 지점도 봐야 한다. 취재 결과 확인된 바에 따르면, 모티프는 컨소시엄을 꾸리는 과정에서 고객접점을 넓히기 위해 카카오와 손잡으려 했다고 한다. 국내 최대 메신저의 가입자 저변을 실제 사용자 기반으로 삼겠다는 구상이었다. 그러나 정부는 한 곳만으로 컨소시엄을 구성하도록 제한했고, 모티프는 애초에 원했던 두 곳 대신 KT 한 곳과 함께 가야 했다. 가장 넓은 고객접점은 그렇게 컨소시엄 밖에 남았다.
배점 구조와 부딪히는 지점이 바로 여기다. 이번 이용자 평가 25점은 AI 전문 사용자 49명과 일반 국민 185명이 서비스를 직접 써보고 매긴 점수다. 이용자의 반응과 실제 사용성을 그만큼 중요하게 봤다면, 사용자 저변이 가장 넓은 파트너와의 협업까지 열어주는 편이 논리에 맞았을 것이다. 접점을 넓힐 기회를 좁혀 놓고 그 사용성을 25점의 무게로 재는 것은, 두 개의 서로 다른 기준을 한 시험지에 붙여둔 것과 같다.
실제로 대형 고객접점 없이 이용자 평가에 임한 모티프가 뒤처졌고, 그 격차 5.0점은 벤치마크 4.0점과 전문가 2.4점을 웃돌아 세 항목 중 가장 컸다. 결과가 구조와 어긋나지 않는다. 벤치마크 성능만으로는 통과가 보장되지 않는 설계 안에서, 접점을 넓힐 길을 제도적으로 좁혀둔 채 이용자 평가로 당락을 가른다면, 그 탈락의 무게를 온전히 한 기업의 기술 탓으로 돌리기는 어렵다. 이 대목 역시 세부 자료가 열리기 전에는 설명만으로 풀리지 않는다.
■ '진출'이라는 말의 실체
마지막으로 남는 질문이 있다. LG와 SK텔레콤, 업스테이지가 “다음 단계에서 최종 경쟁을 이어간다”는 문장은 실제로 무엇을 뜻하는가. 정부는 3차 평가를 거쳐 내년 초 최종 2개 팀을 선정할 계획이라고 밝혔다. 몇 팀이 남는지는 알려졌다. 그러나 예산이 팀별로 어떻게 나뉘는지, 모티프에 배정됐던 몫이 남은 팀에 어떤 방식으로 재분배되는지는 여전히 설명되지 않았다. 성능 경쟁의 조명 뒤편에서 세금이 어디로 흘러가는지에 대한 답은 아직 비어 있다. 3파전을 전하는 뉴스가 그 지점까지 물을 때, '국가대표 AI'라는 말이 비로소 제 무게를 갖는다.
세부 점수도, 환산식도, 평가위원 선정 절차도, 이의제기 창구도, 자금 재분배 방식도 열리지 않은 지금 남은 것은 두 문장뿐이다. 근소한 차이였다는 정부의 말, 그리고 그 근소함을 다시 확인할 수 있게 보여달라는 요구. 이번 발표가 국가대표 AI 선발의 '결과'로 기록될지, 아니면 국가 예산이 어떻게 심사되는지를 묻는 '질문의 출발점'으로 남을지는 다음 응답에 달렸다.
박용후 / 관점 디자이너
