포스텍(POSTECH)은 이남훈 인공지능대학원 교수, 통합과정 정진석 씨, 석사과정 송민경·정현지 씨 연구팀이 거대언어모델(LLM) 예측에 담긴 불확실성을 원인별로 분리해 측정하는 방법론을 개발했다고 1일 밝혔다. 이 연구는 7월 2일부터 7일까지 미국 샌디에이고에서 열리는 자연어처리 및 전산언어학 분야의 국제 학회인 'ACL 2026'에 구두 발표 논문으로 채택됐다.
챗GPT 같은 거LLM은 몇 개의 예시만으로 새로운 작업을 수행하는 '맥락 내 학습(In-Context Learning)1)' 능력이 있다. 하지만 같은 질문에도 답변이 달라지거나 틀린 정보를 사실처럼 제시하는 경우가 있어, AI의 판단을 얼마나 신뢰할 수 있는지가 중요한 과제로 떠오르고 있다.
AI의 불확실성은 두 가지 원인에서 비롯된다. 질문이나 데이터 자체가 모호해 하나는 누구라도 답하기 어려운 경우(우연적 불확실성)와 AI가 관련 지식이나 정보를 충분히 갖고 있지 못한 경우(인식적 불확실성)다. 이 둘은 해결 방법이 완전히 다르지만 기존 방법으로는 명확히 구분하기가 어려웠다.
연구팀은 입력 문장이나 출력 결과를 반복적으로 바꿔가며 추정하던 기존 방식 대신, AI 모델 내부를 직접 분석하는 접근법을 개발했다. 이 방법의 핵심은 '셀프-함수 벡터'라는 개념으로 모델 내부 활성값을 활용해 AI가 예시를 통해 학습한 핵심 개념을 벡터 형태로 표현하는 기술이다. AI가 예시를 보고 머릿속에 형성한 '생각의 핵심 요약본'을 꺼내 보는 셈이다.
연구팀은 이 벡터를 활용해 데이터의 모호함에서 비롯된 불확실성과 모델의 지식 부족에서 발생한 불확실성을 효과적으로 분리해 측정했다. 이 과정에서 AI 내부 작동 원리를 분석하는 '기계론적 해석가능성' 연구와 베이지안 추론 이론을 결합해 새로운 분석 틀도 함께 제시했다.
또 이 기술을 객관적으로 검증하는 평가 체계도 개발했다. 데이터 모호함과 모델의 지식 부족 정도를 각각 독립적으로 조절하는 방식으로 환경을 설계해 불확실성을 정량적으로 평가할 수 있도록 했다. 연구팀의 방법은 70억~700억 개 규모 모델에서도 일관된 성능을 보였다.
두 종류의 불확실성에 대해 서로 다른 반응 패턴을 보이며, 기존보다 명확하게 분류함을 정량적으로 입증하였다. 특히, 이 기술은 AI 환각3) 탐지에서도 우수한 성능을 보이며, 신뢰할 수 있는 AI 개발에 활용될 가능성을 확인했다.
이남훈 교수는 “AI 내부 작동 원리에 대한 이해와 불확실성 측정을 연결한 새로운 시도”라며 “AI가 왜 확신하지 못하는지를 설명할 수 있게 되면 더욱 안전하고 신뢰할 수 있는 AI 개발에 중요한 기반이 될 것”이라고 말했다.
한편, 이번 연구는 과학기술정보통신부와 정보통신기획평가원 인공지능대학원 지원사업, '의사결정을 위한 비전·언어 인과추론 퓨샷 학습' 사업, '인간처럼 개념적으로 이해·추론하는 인공복합지능 개발' 사업, 정부(과학기술정보통신부)의 고성능컴퓨팅 지원 사업의 지원을 받아 수행됐다.
포항=정재훈 기자 jhoon@etnews.com
