링크브릭스가 개발한 거대언어모델(LLM) 개발 도구(빌더)인 '호라이즌 AI' 플랫폼을 통해 만든 일본어 경량화 거대언어모델(sLLM)들이 '오픈 JP-LLM 리더보드'(일본어 LLM 성능 평가 리더보드)에서 상위권을 휩쓸었다.
링크브릭스에 따르면 동경대 주축 연구 컨소시엄인 LLM-jp와 일본 국립 정보학 연구소가 공동 운영하는 '오픈 JP-LLM 리더보드'에서 호라이즌 AI를 통해 만든 sLLM 6개가 1위, 3위, 4위, 5위(지난 27일 기준)를 각각 기록했다.
일본어는 한국어만큼 sLLM을 최적화 하기가 까다롭다.
지윤성 링크브릭스 의장은 “일본어의 문자 체계는 간체 중국어 표의 문자 기호인 간지(한자)와 음성 문자 체계인 히라가나, 외국인 단어에 자주 사용되는 가타카나 세 가지 별도 문자 집합을 혼합한 것을 기반으로 한다”면서 “특히 현대 일본어는 중국-일본어, 모국어인 일본어, 라틴 문자, 네덜란드어, 포르투갈어 등 여러 언어가 섞여 있기 때문에 처리하기 가장 어려운 언어 중 하나로 꼽혀 sLLM을 개발하기 쉽지 않았는데 좋은 결과를 얻고 기술력도 입증했다”고 말했다.
링크브릭스는 앞서 한국지능정보사회진흥원(NIA)과 업스테이지가 공동 운영하는 '오픈 Ko-LLM 리더보드'에서도 호라이즌 AI를 통해 만든 한국어 sLLM 3개가 1위, 2위, 7위를 각각 기록했다.
링크브릭스 호라이즌 AI는 sLLM 구축에서부터 서비스까지 전 과정을 쉽게 구축하고 실행하는 통합 플랫폼이다. 호라이즌 AI 플랫폼을 활용하면 기업 내부 데이터를 활용해 자신만의 sLLM을 만들 수 있다. 지난 7월 첫 선을 보인 후 번역·군사·의료·파이낸스·전자상거래 등 분야별 전용 sLLM을 만드는 등 다양한 기업과 프로젝트를 진행 중이다.
김지선 기자 river@etnews.com
