노타가 중국 인공지능(AI) 기업 문샷AI 거대언어모델(LLM) '키미 K3(Kimi K3)'를 경량화해 구동에 필요한 그래픽처리장치(GPU) 수를 최대 절반으로 줄였다.
2조8000억개 매개변수를 갖춘 키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(MoE) 구조를 채택, 연산 효율을 높인 프론티어급 오픈웨이트 AI 모델이다.
노타 확인 결과, 키미 K3 구동에 엔비디아 고성능 GPU 'B300' 8장이 필요했다. 기업들은 모델 활용도를 높이기 위해 핵심 성능을 유지하며 모델 크기와 연산량을 줄이는 경량화를 채택하고 있다.
키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트와 8비트로 낮춰 설계, 모델이 사용하는 숫자 정밀도를 낮춰 크기와 연산량을 줄이는 일반 양자화 방식만으로 압축 범위가 제한적이었다.
노타는 자체 개발한 '비균일 전문가 프루닝' 기술을 적용해 경량화했다. 기여도가 낮은 모듈만 선별 제거하며 성능 저하를 최소화, 키미 K3 전문가 모듈을 각각 25%·50% 줄인 경량화 모델 2종을 공개했다.
모델 구동에 필요한 엔비디아 B300 GPU 수는 기존 8장에서 각각 6장과 4장으로 줄였다. 적은 인프라 비용으로 프론티어 모델을 운영할 수 있게 지원한다. 자체 평가 결과 성능도 유지됐다.
김태호 노타 최고기술책임자(CTO)는 “비균일 전문가 프루닝 기술로 '솔라 오픈2'에 이어 프론티어급 모델 키미 K3까지 성공적으로 경량화, 주요 성능을 유지하면서 필요한 GPU를 최대 절반으로 줄이는 등 거대 모델의 연산 효율성을 높였다”며 “다양한 프론티어급 AI 모델을 한정된 연산 자원으로도 활용할 수 있게 기술 적용 범위를 확대하겠다”고 말했다.
노타는 앞서 업스테이지 독자 AI 파운데이션 모델 '솔라 오픈2'를 경량화, 메모리 용량 기준 그래픽처리장치(GPU) 8장이 필요하던 모델을 2장 환경에서도 구동하는 데 성공했다. 허깅페이스에 공개된 해당 모델은 공개 2주 만에 누적 다운로드 6만8000회를 돌파했다.
박종진 기자 truth@etnews.com
