임희석 고려대 컴퓨터학과 교수가 이끄는 NLP&AI 연구실과 HIAI연구소는 한국어 특화 LLM(Large language model) '구름3(KULLM3)'을 12일 공개했다. 실제 활용할 수 있는 수준으로 한국어 생성 능력을 향상하는 것을 목표로 했다.
연구팀은 고품질 한국어 지시어(instruction) 데이터 셋을 제작하는 데 공을 들였다. 이를 활용해 한국어 지시를 따르는(instruction-following) 능력을 향상했다. 연구팀은 여러 가지 데스크에 관한 다양한 한국어 데이터 셋을 제작하고, 구름3 모델만을 위한 특수 데이터도 제작했다. 고품질 데이터는 Upstage의 SOLAR-10.7B 모델에 적용돼 지시 튜닝(instruction-tuning) 학습을 통해 '구름3(KULLM3)'이 탄생했다.
GPT-4-Turbo를 활용해 분석한 결과 구름3의 생성 답변은 기존 한국어 모델보다 매우 우수했다. 연구팀이 제시한 성능에 따르면 모델이 생성한 답변의 △유창성(Fluency) △응집성(Coherence) △정확도(Accuracy) △완결성(Completeness) △총점(Overall Quality) 평가에서 우수한 성능을 보였다.
연구팀은 구름3 모델이 한국어로 된 지시 사항을 이해하고 실행하는 능력이 뛰어난 것으로 봤다. 이를 활용해 AI 상담 챗봇과 RAG 기반 질의응답시스템 등 다양한 분야에서 활용할 것으로 기대하고 있다.
임 교수는 “요즘 한국어 private LLM과 On-premise 방식의 LLM 구축에 관심이 많다”며 “실질적인 한국어 생성 성능이 월등한 '구름3'가 좋은 대안이 될 수 있을 것”이라고 말했다.
이지희 기자 easy@etnews.com
