인공지능(AI)이 낸 답의 근거를 설명하는 기술을 한국전자통신연구원(ETRI)이 개발, 표준화 성과를 거뒀다.
ETRI는 전문지식을 바탕으로 추론하고, 판단 이유를 설명하며, 생성 결과까지 검증할 수 있는 '설명가능한 의사결정지원 AI 기술'을 개발했다고 12일 밝혔다. 또 기술의 시스템 구조·요구사항을 담은 국제표준도 국제전기통신연합(ITU)에서 승인받았다.
최근 생성형 AI가 낸 결과를 얼마나 신뢰할 수 있는지에 대한 의문이 깊다. 특히 의료, 법률, 금융, 행정과 같은 중요 분야에서는 AI 판단 과정을 설명하는 기술이 필수다.
이번 국제표준은 이런 요구를 반영, 설명가능한 AI가 갖춰야 할 공통 구조와 핵심 기능을 제시한다. “이런 근거·이유로 이 결과를 도출했으며, 이 부분은 추가 확인이 필요합니다”라고 설명할 수 있도록 시스템 기본 구조와 요구사항을 정의했다.
국제표준에는 사용자 질문에 대한 결과와 이유 설명, 전문지식 기반 추론, 판단 근거와 분석 내용을 담은 보고서 제공, 추가 확인이 필요한 정보의 식별, 사용자 피드백 반영, 변화하는 전문지식의 지속적인 업데이트, 텍스트뿐 아니라 표·이미지·도식 등 다양한 형태의 정보 활용 기능 등이 포함됐다.
연구진은 국제표준에서 제시한 설명가능한 의사결정지원 AI를 실제 구현하기 위한 핵심 기술도 함께 개발했다. △중요 상황·유형을 분류하고, AI 판단 근거를 제시하는 '설명가능한 분류 기술' △텍스트 및 표, 이미지, 도식 등이 포함된 전문문서에서 필요 정보를 찾아내는 '멀티모달 기반 자가검증 RAG 기술' △AI가 작성한 답변·보고서가 실제 근거와 일치하는지 확인하는 '생성 결과 사실성 검증 기술' △사용자의 목적과 형식에 맞춰 보고서를 단계적으로 작성하는 '인터랙티브 플래닝 기반 보고서 생성 기술' 등이다.
이용주 ETRI 시각지능연구실장은 “이번 국제표준은 기업·공공기관이 신뢰할 수 있는 AI 서비스를 구축하고 AI 기본법 상 설명 의무 이행에 중요한 기준이 될 것”이라고 말했다. 배경만 ETRI 시각지능연구실 박사는 “확보한 핵심기술을 바탕으로 설명가능한 의사결정지원 AI 기술을 지속적으로 고도화해 나가겠다”고 밝혔다.
한편, 이번 연구는 과학기술정보통신부·정보통신기획평가원(IITP) 지원을 받아 '사람중심 AI 핵심원천기술개발사업' 일환으로 수행됐다.
김영준 기자 kyj85@etnews.com
