오픈AI를 비롯한 인공지능(AI) 선도 기업들이 AI 모델 성능 향상에 어려움을 겪는 가운데, '추론 시간 계산(Test-time Computing)' 기술이 대안으로 떠오르고 있다.
로이터는 12명의 AI 과학자, 연구자, 투자자 등의 발언을 인용, '추론 시간 계산' 기술이 AI 군비 경쟁을 재편하고 전기 에너지부터 반도체 칩까지 AI 개발에 필요한 자원의 수요를 바꿀 수 있다고 11일(현지시간) 보도했다.
'추론 시간 계산'은 AI 모델이 추론에 많은 시간을 할애해 결과물을 생성하도록 해 성능을 높이는 기술이다. 이를 통해 AI 모델은 하나의 답변을 즉시 선택하는 대신 실시간으로 여러 가능성을 생성·평가해 최선의 답변을 선택할 수 있다. 인간이 어려운 문제에 대한 답을 오래 생각하는 경향이 있다는 것에 착안했다.
이 기술은 오픈AI가 9월 공개한 '오픈AI o1(오원)'에 적용됐다. 이 모델은 수학, 코딩 등 복잡한 추론에 강점이 있다.
오픈AI는 해당 모델을 출시하며 “강화학습(AI의 특정 행동에 대한 보상과 처벌로 최적의 선택을 내리도록 하는 것) 시간과 추론 시간 계산 시간이 많을수록 오픈AI o1의 성능이 향상됐다”며 “이 접근 방식은 AI 모델의 제약 조건은 사전훈련의 제약 조건과 달라, 이를 계속 연구하고 있다”고 말했다.
오픈AI-o1을 연구한 노암 브라운 오픈AI 연구원 역시 지난 달 샌프란시스코에서 열린 테드 AI 콘퍼런스에서 “포커 판에서 AI 봇이 20초 동안 생각하도록 하는 것이 AI 모델을 10만배 확장하고 10만배 더 오래 훈련시키는 것과 동일한 부스팅 성능을 얻는다는 것이 밝혀졌다”고 말했다.
이 기술은 AI 모델의 매개변수(파라미터)를 지속 늘리는 '사전학습' 방식의 한계를 극복할 수 있다. 사전학습은 상당한 데이터와 전기 에너지를 요구하기 때문에 AI 모델 성능 향상에 한계가 있다는 지적이 제기된다.
로이터는 익명의 복수 관계자를 인용, “주요 AI 연구소 연구원들이 오픈AI의 GPT-4 모델을 능가하는 거대언어모델(LLM)을 출시하기 위한 경쟁에서 실망스러운 결과를 내고 있다”며 “앤스로픽, xAI, 구글 딥마인드 등 AI 연구소 연구원들은 추론 시간 계산 기술의 자체 버전을 개발하고 있다”고 전했다.
해당 기술 개발과 관련, 구글과 xAI 등은 로이터의 논평 요청에 응답하지 않았다.
현대인 기자 modernman@etnews.com
