인공지능(AI) 언어 데이터 전문 기업 플리토가 한국어 거대언어모델(LLM)의 성능을 비교·평가하는 '오픈 Ko-LLM 리더보드'에 벤치마크 데이터셋을 제공했다.
'오픈 Ko-LLM 리더보드'는 한국지능정보사회진흥원(NIA)과 업스테이지가 함께 구축하고 운영 중인 LLM 리더보드다. 국내 기업과 연구기관이 등록한 LLM의 성능을 평가해 한국형 AI 개발과 자연어 처리 기술(NLP) 발전에 기여한다.
플리토는 '오픈 Ko-LLM 리더보드'를 운영 중인 업스테이지의 파트너사로서 △상식 추론과 문맥 이해 능력 △수학적 추론과 계산능력 등을 평가할 수 있는 벤치마크 데이터셋을 한국어로 제공했다.
상식 추론과 수학적 추론 등 2가지 평가 항목의 추가로 허깅페이스의 '오픈 LLM 리더보드'와 평가 기준을 맞추게 됐다.
플리토는 이번 데이터셋 구축 참여를 계기로 한국어 LLM의 성능을 평가하고 향상시키기 위한 고품질 언어 데이터 구축에 박차를 가할 예정이다.
이외에도 상용 분야에 적용된 한국어 언어모델을 평가할 수 있는 벤치마크 데이터 셋을 업스테이지와 협력해 구축 중이며, 연내 '오픈 Ko-LLM'를 통해 추가적으로 공개할 계획이다.
현대인 기자 modernman@etnews.com
