한국과학기술정보연구원(KISTI·원장 이식)은 양혜영 에이전트응용연구센터 박사팀이 인공지능(AI) 추론 과정 평가 기술인 'TRACE'를 개발했다고 12일 밝혔다. 이번 성과는 국제 머신러닝학회(ICML) 2026에 채택됐다.
최근 대규모 언어모델(LLM)은 복잡한 문제를 단계적으로 해결하는 '연쇄적 사고' 방식으로 높은 성능을 보이고 있다. 그러나 기존 평가는 AI가 어떤 과정을 거쳐 결론에 도달했는지 파악하기 어렵고, 정답지가 없는 환경에서는 평가가 어렵다.
연구팀은 이런 한계를 극복하기 위해 논증이론 분야 대표 모델인 '툴민 논증모형'과 인지심리학자 존 플라벨의 메타인지 이론을 결합해 AI 추론 구조와 자기점검 과정을 동시에 분석하는 평가기술을 개발했다.
TRACE는 AI가 생성한 추론 문장을 주장, 근거, 논거, 보강근거, 평가, 한정, 반박, 모니터링 등 8개 요소로 분해한 뒤, 각 요소 타당성과 문장 간 논리 연결성을 분석한다.
연구팀은 약 10만 개 추론 문장을 활용해 'TRACE-DeBERTa' 모델을 학습시켰으며, 7개 주요 언어모델과 2만 6000여 개 추론 사례를 분석했다. 그 결과 TRACE 점수와 실제 벤치마크 정답률 사이에서 높은 상관관계를 확인했다.
TRACE는 평가지표로서 가능성뿐만 아니라 LLM 강화학습의 효과적인 보상 신호로서의 가능성도 보여줬다. 정답 여부만을 보상 신호로 활용하던 기존 검증가능보상 강화학습(RLVR) 방식에 TRACE를 추가 적용한 결과 LLM 추론 성능을 더욱 끌어올릴 수 있음을 확인했다.
양혜영 박사는 “TRACE는 AI가 어떤 단계에서 논리적으로 추론했고, 어떤 단계에서 불확실성이나 자기모순이 발생했는지를 설명할 수 있다”라며, “기존 블랙박스형 및 정답지에 의존하는 AI 평가 방식의 한계를 보완할 수 있다”고 말했다.
김영준 기자 kyj85@etnews.com
