베슬AI가 업스테이지 거대언어모델(LLM) '솔라 프로4'에 추론 인프라를 제공했다고 8일 밝혔다.
솔라 프로4는 지난 9월 글로벌 LLM 마켓플레이스 '오픈라우터'에서 실제 이용량 기준 3위에 올랐다. 베슬AI는 해당 기간 솔라 프로4의 글로벌 서비스 운영을 맡아 전 세계 이용자의 추론 요청을 처리했다.
베슬AI는 업스테이지와 함께 모델 출시 일정과 예상 수요를 공유하고 추론 용량을 설계했다. 한국·유럽·미국 등 각 국가의 그래픽처리장치(GPU) 클러스터와 자체 추론 엔진 최적화 기술을 활용했다.
특히 모델 특성과 실제 이용 패턴에 맞춰 GPU 자원을 구성하고 캐시 적중률 개선, 모델 양자화, 추론 속도 향상 기술 등을 적용해 최적화 전후 처리 속도를 최대 3배 높였다. 토큰당 추론 비용도 최대 50% 절감했다.
베슬AI는 GPU 인프라 공급을 넘어 글로벌 AI 모델의 추론 운영까지 사업 영역을 확대할 방침이다. 향후 솔라 모델의 글로벌 이용 확대에 필요한 인퍼런스 인프라도 지속 지원한다.
안재만 베슬AI 대표는 “한국에서 개발한 AI 모델의 글로벌 성과를 국내 네오클라우드 인프라로 뒷받침했다는 점에서 의미가 크다”며 “기업의 안정적인 오픈소스 모델 도입을 지원하고 인퍼런스 제공 역량을 강화하겠다”고 말했다.
앞서 베슬AI는 네오에이아이클라우드와 협력해 경북 포항 AI데이터센터에 GPU 플랫폼도 구축하고 있다. 양사는 데이터센터 인프라와 GPU 플랫폼을 연계해 국내외 서비스 사업화에 나설 계획이다.
조벼리 기자 starry@etnews.com
