인공지능(AI) 전문기업 셀렉트스타가 한국형 거대언어모델(LLM) 신뢰성 평가에 새로운 이정표를 그린다.
셀렉트스타는 지난 11~12일까지 열린 '생성형 AI 레드팀 챌린지'에서 LLM이 한국의 사회적 가치관과 공통 지식과 얼마나 일치하는지 평가하는 최초 데이터셋을 연구한 'KorNAT(LLM Alignment Benchmark for Korean Social Values and Common Knowledge)' 논문을 공개했다.
셀렉트스타는 한국과학기술원(KAIST) 김재철AI대학원과 협력, 지난해 구축한 'LLM 신뢰성 벤치마크 데이터'를 바탕으로 KorNAT 논문을 작성했다.
KorNAT 연구의 핵심은 의견이 갈릴 수 있는 '사회적 가치관'과 국가 공통 교육 과정의 '기본 지식'에 초점을 맞춰 LLM이 해당 국가 구성원들의 생각과 지식 수준이 얼마나 일치하는지를 평가하는 것이다. LLM의 문제 해결 능력, 윤리적 문제 여부 등의 영역만을 다룬 기존 벤치마크 데이터와 다르다.
이 데이터셋은 1만개 평가 데이터로 면밀히 구축, 사람이 설문 조사 이론을 기반으로 수차례 검토해 그 품질과 신뢰성을 더욱 개선했다.
셀렉트스타는 올해 하반기에 KorNAT 데이터셋 등 LLM 신뢰성 벤치마크 데이터를 기반으로 온라인 평가가 가능한 공개 리더보드를 출시할 예정이다. 국내 연구자들에게 더 큰 발전과 교류의 장을 제공할 것으로 전망된다.
정송 KAIST 김재철AI대학원장은 “KorNAT 논문 발표는 한국에서 요구하는 기본상식과 가치관을 전 세계 LLM에 반영할수 있는 중요한 연구결과”라고 축사를 전했다.
김세엽 셀렉트스타 대표는 “KorNAT 논문발표는 AI 신뢰성의 중요성에 대한 공감대를 형성하고 우리의 기술력을 널리 알릴 수 있는 좋은 기회였다”고 밝혔다.
현대인 기자 modernman@etnews.com
