김해시가 자체 개발해 민원 업무에 사용 중인 행정 인공지능(AI) 플랫폼 '김해 AI'에 '환각 검증' 소형언어모델(sLM)을 추가 적용해 거대언어모델(LLM)을 뛰어넘는 성능을 달성한 것으로 나타났다.
이번 성과는 경남지역 AI전환(AX) 인프라 전문기업 아이웍스(대표 정민영)와 협업해 달성한 것으로 민관 협력 기반의 지역 AX 역량 강화 사례로 주목받을 전망이다.
김해시와 아이웍스가 개발한 한국어 행정·법령 특화 근거지지(grounding) 검증 모델 'KoGround'는 kf-DeBERTa 기반 186M 파라미터 교차 인코더로 검색증강생성(REG) 답변의 문장 단위 근거지지 여부를 판정한다. 자체 구축한 미학습 평가셋에서 환각 통과율(FA) 0.092, 정확도 0.926을 기록했다.
동일 데이터와 프롬프트로 측정한 26B급 심판 LLM은 FA 0.254, 정확도 0.862로 KoGround가 약 140분의 1 크기임에도 불구하고 환각을 2.8배 덜 놓치는 결과를 보였다는 게 아이웍스 설명이다.
추론은 GPU 없이 CPU 단독 문장당 0.148초(ONNX fp32, 정확도 무손실)로 시민 질의를 외부로 전송하지 않고 기관 내부 서버에서 구동된다. 상용 검증 API와 달리 망분리·폐쇄망 환경에도 그대로 도입 가능한 장점이 있다.
김해시는 KoGround가 전 문장을 선별하면 이 중 플래그된 문장만 LLM이 재심하고 근거가 확인되지 않으면 확인된 근거만으로 답변을 재생성하도록 운영한다. 이 구조로 고비용 재심 LLM 호출을 78%에서 48%로 줄였고 운영 기록 137건 전수 판독에서 유해 환각의 이용자 전달 0건을 확인했다.
KoGround의 재현 가능한 벤치마크와 판정 로직은 AI 정부 실험실에 아파치 2.0으로 공개돼 있다. 김해시는 벤치마크 공개도 데이터 반출 없는 방식을 택했다. AI 러브 원시 데이터는 재배포하지 않고 이용 승인을 받은 기관이 재구성 스크립트와 지문(md5) 검증으로 동일 평가셋을 로컬에서 조립해 검증하는 구조다.
한편 김해시는 지난 10일 열린 '2026 지방정부 AI 우수사례 발표대회'에서 경남도 대표로 본선 무대에 올라 행정안전부 장관상을 수상한 바 있다. 김해시는 '현장이 만드는 AI 서비스, 김해 AI 혁신 플랫폼'을 주제로 실무를 가장 잘 아는 내부 공무원이 직접 AI 서비스를 설계하고 개발한 사례를 발표해 심사위원들의 높은 평가를 받았다.
아이웍스 측은 “이번 사업을 통해 업무 효율성 향상, 비용 절감, 지역 AI 인프라 경쟁력 강화 등이 기대되며 지역 산업 현장에 실질적으로 기여할 수 있는 기회가 됐다”면서 “앞으로도 지역 AX 생태계 활성화를 위해 지속적으로 협력해 나가겠다”고 밝혔다.
김해=노동균 기자 defrost@etnews.com
