인공지능(AI) 기술의 급속한 발전으로 기존 AI 모델이 한계를 드러내면서 빅테크 기업들이 새로운 평가 방식에 고심하고 있다.
9일(현지시간) 파이낸셜타임스(FT) 보도에 따르면 '벤치마크'로 불리는 테스트를 통해 AI 모델의 능력을 평가하는데, 최근 기존 테스트로 신모델을 평가할 경우 정확도가 90%대로 지나치게 높아 새로운 테스트의 필요성이 대두되고 있다.
메타(페이스북 모회사) 관계자는 “업계 발전 속도가 극히 빠르다”면서 “측정 능력이 포화하기 시작했으며 (AI 신모델을) 평가하기가 점점 어려워지고 있다”고 말했다.
오픈AI·마이크로소프트·메타·앤스로픽 등이 인간을 대신해 자동으로 업무를 수행할 수 있는 'AI 에이전트' 구축 계획을 발표했는데, 이를 위한 새로운 평가가 필요한 상황이다.
대다수 빅테크 기업 자체 벤치마크를 만들고 있는데, 업계 일각에서는 공개적 테스트가 없는 만큼 기술을 어떻게 비교할 수 있을지에 대한 우려를 내놓고 있다.
현재 공개된 벤치마크들은 다지선다형 질문을 통해 다양한 주제에 대한 지식을 평가하는데, 이제 이러한 방식은 불필요하며 더 복잡한 테스트가 필요하다는 것이다.
기존 벤치마크 중 하나인 'SWE-bench Verified'는 지난 8월 오픈AI 등의 의견을 수렴해 업데이트를 진행했으며, 개발자 플랫폼 '깃허브' 등에서 가져온 실제 문제를 테스트에 이용하고 있다.
오픈AI의 최신 AI 모델인 'GPT-4o'는 이 테스트 결과 41.4%의 문제를 풀었고, 앤스로픽 '클로드 3.5 소넷'은 49%를 해결했다.
한 스타트업은 다양한 전문가들로부터 추상적 추론이 필요한 복잡한 질문을 클라우드 소스 형태로 모은 '인류 최후의 시험' 프로젝트를 지난 9월 발표하기도 했다.
다만 AI 모델 평가에 대한 명시적 합의가 없는 만큼 기업들이 경쟁사 모델을 평가하거나 사용자들이 이해하기 어려울 수 있다는 전문가 우려도 나온다.
AI 세이프티의 댄 헨드릭스는 “테스트가 공개되지 않으면 재계나 사회 전반에서 (비교에 대해) 말하기 어렵다”고 말했다.
김명희 기자 noprint@etnews.com
