
신한은행이 이탈리아 밀라노에서 열린 글로벌 인공지능(AI) 학술대회 'ICAIF 2026' 워크숍에서 은행 특화 대규모 언어 모델(LLM) 평가와 인공지능(AI) 에이전트 검증 연구 성과를 발표했다.
신한은행은 이번 학회에서 여신·수신·외환 등 은행 업무 특성을 반영한 벤치마크 프레임워크 'K-BankEval'과 내부 인공지능(AI) 에이전트 평가·검증 플랫폼 '에이전트 파운드리' 연구 결과를 공개했다.
'K-BankEval'은 은행 업무 전문지식, 금융 문서 검색 및 근거 기반 답변(RAG), 도구 호출 등 총 6개 영역으로 구축한 5000개 문항의 평가 체계다. 6개 LLM을 비교 평가한 결과, 범용 성능이 우수하더라도 실제 은행 업무별 수행 능력에는 차이가 있는 것으로 나타났다. 이를 통해 업무 특성에 알맞은 모델을 선정하고 취약 영역을 진단할 수 있는 기반을 마련했다.
함께 공개된 '에이전트 파운드리'는 인공지능(AI) 에이전트의 최종 답변뿐만 아니라 업무 수행 과정까지 함께 검증하는 플랫폼이다. 응답 기준 충족 여부, 도구 사용 적절성, 실행 과정 효율성을 점검해 실제 업무 적용 전 보완 영역을 체계적으로 확인한다.
신한은행 관계자는 “금융 분야 AI 활용에는 높은 성능뿐 아니라 실제 업무 적합성과 수행 과정 검증이 중요하다”며 “특화된 평가·검증 기술을 고도화해 안심하고 활용할 수 있는 환경을 조성하겠다”고 말했다.
류태웅 기자 bigheroryu@etnews.com











