독일 다름슈타트 공과대학교(Technical University of Darmstadt) 연구팀이 2026년 6월 29일 발표한 논문은 AI를 잘 쓰는 방법에 대한 상식을 뒤집는다. 보통 우리는 AI가 하나의 정답을 확신에 차서 내놓기를 바란다. 그런데 이 연구는 AI가 "이 답이 확실하지 않다"는 사실을 스스로 인정하고 여러 가능성을 저울질하도록 만들었더니 오히려 결과물의 질이 올라간다는 것을 보여줬다. 여기서 핵심 개념은 불확실성 인식 의사결정(Uncertainty-Aware Decision-Making)이다. AI가 채점이나 첨삭처럼 정답이 하나로 딱 떨어지지 않는 애매한 일을 할 때, 무리하게 한 가지 답을 고르지 않고 확률적으로 여러 답을 고려해 가장 쓸모 있는 결과를 만들어내는 방식을 말한다. 논문 심사와 학생 지도라는, 사람들끼리도 의견이 갈리는 두 영역에서 이 방식을 실험한 결과라 실생활에서 AI를 쓰는 누구에게나 시사점이 크다.
사람끼리도 점수가 갈리는 일에 AI를 시켰을 때 생기는 문제
이 연구가 주목한 것은 '정답이 하나가 아닌 일'이다. 논문을 심사하는 세 명의 심사자가 같은 논문을 두고 각각 '통과', '탈락', '약한 통과'로 엇갈리는 장면을 떠올려보면 된다. 연구팀은 이런 상황이 예외가 아니라 오히려 흔하다고 지적한다. 학생을 가르칠 때도 마찬가지다. 어떤 선생님은 답을 살짝 알려주는 게 낫다고 보고, 다른 선생님은 학생이 스스로 헤매다 깨닫게 두는 게 낫다고 본다. 둘 다 틀리지 않았다. 문제는 이렇게 사람도 의견이 갈리는 애매한 일에 AI를 투입하면, AI가 근거 없이 하나의 답을 확신에 차서 밀어붙인다는 점이다. 연구팀이 실험에서 확인한 대표적 사례가 있다. 큐원3-14B(Qwen3-14B)라는 AI에게 별도 훈련 없이 곧바로 논문 점수를 매기게 했더니, 한 점수에는 거의 100%에 가까운 확신을 주고 나머지 점수에는 0에 가까운 확률을 줬다. 실제로는 애매한 논문인데도 AI는 "이건 무조건 이 점수"라고 우겨버린 셈이다. 이렇게 근거 없는 확신은 사용자의 신뢰를 무너뜨린다.
정답 대신 '그럴듯한 점수의 범위'를 알려주는 방식
연구팀이 제안한 해법은 AI가 하나의 답을 고르는 대신 '그럴듯한 답들의 묶음'을 제시하도록 만드는 것이다. 이때 두 가지 통계 기법이 쓰인다. 하나는 베이즈 의사결정(Bayesian Decision-Making)으로, 가능한 여러 답에 각각 확률을 매긴 뒤 그 확률로 가중치를 줘서 가장 쓸모 있는 결과를 뽑아내는 방식이다. "이 답이 정답"이라고 못 박는 대신 "이 답일 확률 40%, 저 답일 확률 30%"처럼 여러 가능성을 두루 반영한다. 다른 하나는 등각 예측(Conformal Prediction)으로, 통계적으로 "진짜 정답이 이 묶음 안에 들어 있을 확률이 최소 95%"라고 보장해주는 기법이다. 예를 들어 논문을 학회에 내기 전 AI에게 미리 심사를 받아본 저자가 "당신 논문은 5점에서 7점 사이일 가능성이 높습니다"라는 범위를 받는다고 해보자. "무조건 6점"이라는 근거 없는 단언보다 이 범위가 훨씬 정직하고 쓸모 있다. 저자는 이 범위를 보고 논문을 더 다듬을지, 지금 제출할지 스스로 판단할 수 있기 때문이다.
논문 심사와 학생 지도 실험에서 드러난 성적표
실험 결과는 이 방식이 실제로 통한다는 것을 보여줬지만, 동시에 중요한 함정도 드러냈다. 연구팀은 젬마3-27B(Gemma3-27B), 큐원3-30B(Qwen3-30B), 미스트랄3-24B(Mistral3-24B) 등 여러 AI로 논문 심사를 시키고, 튜터RL-7B(TutorRL-7B)로 학생 지도를 시켰다. 베이즈 방식을 적용하자 그냥 AI가 답을 뽑아내는 기존 방식보다 리뷰의 '실행 가능성'을 비롯한 여러 항목에서 점수가 올랐다. 특히 학생 지도 실험에서 베이즈 방식은 보상 점수를 0.858에서 0.892로 끌어올렸고, 사람이 직접 쓴 모범 답안과 비교해도 75.4%의 승률을 기록했다. 반면 '최악의 경우를 대비하는' 위험 회피 방식은 오히려 역효과를 냈다. 이 방식은 보상 점수가 0.809로 떨어졌는데, 원인이 흥미롭다. AI가 최악의 경우를 피하려다 보니 "그냥 답을 알려주기"나 "뻔한 소리 하기" 같은 게으른 전략을 택해버린 것이다. 애매함이 클수록 이 부작용이 심해졌다. 안전하게 가려다 오히려 성의 없는 결과를 내놓은 셈이다.
그림 1. 계산량 증가에 따른 베이즈와 위험회피 방식의 상반된 성능 변화 (출처: Uncertainty-Aware 논문 Figure 2)
확신에 찬 AI보다 정직하게 머뭇거리는 AI
이 연구가 던지는 메시지는 AI의 '확신'을 곧이곧대로 믿지 말라는 것일 수 있다. 우리는 AI가 망설임 없이 답을 내놓을 때 더 똑똑하다고 느끼기 쉽다. 하지만 이 논문은 정답이 하나가 아닌 애매한 영역에서는 오히려 여러 가능성을 인정하는 AI가 더 쓸모 있는 결과를 낸다는 점을 데이터로 보여줬다. 다만 연구팀은 이 방법이 아직 완성형이 아니라는 점도 분명히 했다. 현재의 AI는 점수 예측 같은 어려운 판단에서 여전히 사람들의 다양한 의견을 제대로 반영하지 못하며, 실제 학회 심사나 진짜 학생을 대상으로 한 현장 실험은 아직 이뤄지지 않았다. 연구팀은 논문 곳곳에서 "우리는 AI가 사람 심사자를 대체하는 것을 지지하지 않으며, 어디까지나 사람을 돕는 보조 도구로만 써야 한다"고 강조했다. AI에게 판단을 통째로 맡기기보다, AI가 제시한 '그럴듯한 범위'를 참고해 최종 결정은 사람이 내리는 방향이 더 현실적일 가능성이 있다. 확신에 찬 AI와 정직하게 머뭇거리는 AI 중 무엇을 신뢰할지는, 결국 그 일이 얼마나 애매한 일인지에 달려 있다.
FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)
Q. 불확실성 인식 의사결정이 뭔가요? 쉽게 설명해 주세요.
AI가 애매한 문제를 풀 때 "이게 정답"이라고 하나만 딱 고르지 않고, 여러 가능한 답에 각각 확률을 매겨서 두루 고려한 뒤 가장 쓸모 있는 결과를 내놓는 방식입니다. 사람도 확실하지 않을 때는 "아마 이거일 텐데 저것일 수도 있어"라고 생각하는데, AI에게도 그런 정직한 태도를 갖게 만든 것입니다.
Q. 이 기술이 저 같은 일반 사용자에게도 도움이 되나요?
네, 방향성 면에서 도움이 됩니다. 챗봇에게 애매한 질문을 던졌을 때 근거 없이 확신하는 답보다, "이럴 가능성도 있고 저럴 가능성도 있다"고 솔직하게 알려주는 답이 더 믿을 만하다는 점을 보여주기 때문입니다. 앞으로 AI 서비스들이 이런 방식을 도입하면 사용자는 더 정직한 답을 받을 수 있습니다.
Q. 그럼 이제 AI가 논문 심사나 채점을 대신하게 되나요?
아닙니다. 연구팀은 이 기술을 사람을 대체하는 용도가 아니라 사람을 돕는 보조 도구로만 써야 한다고 여러 번 강조했습니다. AI가 "이 논문은 5~7점 사이일 가능성이 높다" 같은 참고 정보를 주면, 최종 판단은 여전히 사람이 내리는 방식입니다.
기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: Uncertainty-Aware Generation and Decision-Making Under Ambiguity (Nico Daheim, Iryna Gurevych, 2026)
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.
■ 이 기사는 AI 전문 매체 ‘AI 매터스’와 제휴를 통해 제공됩니다. (☞ 기사 원문 바로가기)
AI 리포터 (Aireporter@etnews.com)
