국내 연구진이 정답이 명확하지 않은 임상 판단 영역에 해당하는 사랑니 발치 난이도에 대한 인공지능(AI)의 평가가 전문의와 유사한 수준임을 확인했다. 범용 AI의 의료 보조 도구 활용 가능성을 제시하고, 임상 현장에서 신뢰성 있게 활용하기 위한 표준 사용 규약을 마련했다.
한국연구재단은 김봉철 원광대 대전치과병원 교수 연구팀이 두 종류의 멀티모달 거대언어모델(LLM)과 구강악안면외과 전문의의 사랑니 발치 난이도 평가를 비교·분석해 이 같은 사실을 규명했다고 8일 밝혔다.
사랑니 발치 난이도 평가는 수술 계획과 합병증 예측, 환자 설명, 상급 의료기관 전원 여부를 결정하는 중요한 과정이다. 현재 파노라마 방사선 사진 기반의 피더슨 난이도 점수(PDS)가 널리 활용되지만, 판독자에 따라 평가 결과가 달라질 수 있는 한계가 있다.
연구팀은 아래턱 사랑니 파노라마 방사선 사진 100장을 표준 규격으로 가공해 챗GPT-5.2 Thinking, 제미나이 3.0 Pro, 구강악안면외과 전문의 2명이 각각 독립적으로 PDS를 평가하도록 했다. LLM은 한국어와 영어 두 언어로 각각 5회 반복해 총 2000회 평가했다.
기존 AI 연구는 정답과 얼마나 일치하는지를 평가했다면, 이번 연구는 정답이 없는 임상 판단에서 사람과 AI가 어떻게 판단하는지를 처음으로 체계적으로 비교했다.
분석 결과 전문의 간 일치도를 뜻하는 카파계수(κ)가 0.754로 높은 수준을 보였다. 챗GPT는 전문의와 κ=0.564~0.590, 제미나이는 κ=0.356~0.461의 일치도를 나타냈으며, 두 모델 모두 난이도를 지속적으로 높거나 낮게 평가하는 방향성 편향은 나타나지 않았다.
연구팀은 범용 AI가 정답이 확립되지 않은 임상 판단 영역에서도 전문의와 유사한 판단 경향을 보임을 정량적으로 제시했다. 특히 새로운 사례마다 새로운 대화창을 사용하는 것이 AI 판단의 일관성을 유지하는 데 중요함을 확인했다.
다만 이번 연구는 수술 시간, 합병증을 기준으로 진단 정확도를 검증한 연구는 아니며, 단일 기관 자료와 특정 LLM을 대상으로 수행된 만큼 향후 다기관·대규모 임상자료를 활용한 후속 검증이 필요하다고 연구팀은 설명했다.
김봉철 교수는 “이번 연구는 범용 LLM의 전문의 유사 판단 경향을 확인하고, 의료현장에서 신뢰성 있는 AI 활용법을 제시한 데 의미가 있다”며 “후속 연구로 다양한 임상 환경에서 활용 가능한 보조 판단 도구로 발전시키겠다”고 말했다.
이번 연구 성과는 치의학 분야 국제학술지 '국제치과저널'에 7일 온라인 게재됐다.
이인희 기자 leeih@etnews.com
