구글 최신 프런티어 인공지능(AI) 모델 '제미나이4 카본'이 글로벌 인텔리전스 벤치마크에서 앤트로픽·오픈AI 모델을 제치고 1위에 올랐다.
복잡한 추론과 과학적 문제 해결 등에서 우수한 성능으로 세계 최고 수준 AI 모델 경쟁에서 선두를 차지했다. '제미나이 3.1 프로 프리뷰' 이후 8개월 만에 구글이 최고 모델을 확보한 것이다.
글로벌 AI 성능 분석기관 아티피셜 어낼리시스(AA)가 28일(현지시간) 공개한 AI 모델 성능 비교 대시보드에 따르면 제미나이4 카본은 'AI 지능지수(Intelligence Index) v5.0'에서 59점을 기록해 전체 1위를 차지했다.
기존 선두였던 앤트로픽 '클로드 오퍼스 5.5'는 58점, 오픈AI 'GPT-6 아스트라'는 57점, 'GPT-6.1 솔'은 55점을 각각 기록했다.
AA 지능지수는 지식업무, 코딩, 과학, 일반 역량 등 4개 영역에 각각 25% 가중치를 부여해 산출한다. 총 9개 벤치마크로 AI 모델 전문지식과 추론 능력은 물론, 실제 업무 수행 역량까지 종합 평가한다.
제미나이 4 카본은 9개 평가 중 고난도 전문지식·추론, 과학 연구 작업, 지식 정확성·환각 억제, 기업용 업무 자동화 등 4개 부문에서 최고 성적을 거뒀다. 다만 코딩과 복잡한 지식업무 수행에서는 경쟁 모델보다 낮은 점수를 받았다.
비용 효율성에서도 경쟁력을 보였다. 제미나이4 카본의 지능지수 평가 과제당 평균 비용은 7.76달러로 클로드 오퍼스 5.5의 10.04달러보다 약 23% 낮았다. GPT-6 아스트라는 6.25달러, GPT-6.1 솔은 1.27달러로 집계됐다. 동일한 작업을 수행하는 데 소요된 평균 API 비용으로, 실제 요금과는 차이가 있다.
중국 AI 모델은 최상위 미국 모델과 다시 격차를 보였다. 문샷AI의 '키미 K3.1 프로'는 46점을 기록했으며, 가중치가 공개된 중국 모델 중 딥시크 V4.1 플래시와 GLM-5.3은 각각 32점에 머물렀다.
AA는 AI 모델의 성능뿐 아니라 초당 출력 토큰 수로 측정한 응답속도, 작업당 비용, 성능 대비 비용 효율성도 비교·제공한다. 이를 통해 최고 성능 모델과 경제성이 높은 모델을 구분할 수 있도록 했다.
실제 AA가 이날 공개한 자체 'AI 모델 성능 평가 방법론'에 따르면 AA 평가체계는 AI 모델의 '문제 해결 능력'과 '실제 업무 수행 능력'을 함께 측정하는 방향으로 진화하고 있다.
AI 모델의 수학·추론·코딩 문제 해결 능력을 평가하는 데서 벗어나 실제 기업 업무를 얼마나 정확하게 수행하는지, 복잡한 작업을 얼마나 자율적으로 완수하는지 종합 측정한다.
박종진 기자 truth@etnews.com
