인공지능(AI) 도입 기업의 비용 부담이 한계치에 달하면서, 업계의 AI 활용 공식이 '토큰맥싱'에서 '모델맥싱'으로 빠르게 재편되고 있다.
비즈니스인사이더는 5일(현지시간) AI 사용료 부담을 느낀 기업이 무분별한 최신 모델 의존에서 벗어나 업무별 효율성을 극대화하는 방향으로 전략을 수정하고 있다고 보도했다.
모델맥싱은 작업의 난이도에 맞춰 각기 다른 AI 모델을 골라 쓰는 전략을 의미한다. 기업은 과학적 돌파구 마련이나 복잡한 에이전트 오케스트레이팅 등 고도의 추론이 필요한 작업에만 '클로드 페이블5', 'GPT-5.5' 같은 고가·고성능 모델을 투입한다. 반면 단순 반복 업무는 구형 모델이나 저렴한 오픈소스 모델로 분산해 비용 효율을 꾀하고 있다.
브라이언 암스트롱 코인베이스 CEO는 최근 소셜미디어(X)를 통해 이러한 흐름을 뒷받침하는 전망을 내놨다. 그는 “AI 수요는 폭발적이지만, 향후 12~18개월 내 전체 작업의 80%는 현재보다 99% 저렴한 모델로 대체될 것”이라며, 최신형 고가 모델이 반드시 필요한 작업은 전체의 20% 미만에 불과하다고 분석했다.
실제 현장에서는 팀별 업무 성격에 맞춰 AI 모델을 세분화하는 움직임이 나타나고 있다. AI 스타트업 볼드 메트릭스는 팀별로 모델 종류와 추론 수준을 개별 지정해 운영한다. 일괄적인 최고가 모델 도입 대신, 각 팀의 업무 목표에 맞춰 가장 적합한 도구를 골라 쓰는 최적화 모델이다.
이러한 변화는 그동안 무분별하게 최신 유행을 쫓던 업계 분위기와 배치된다. 크리스 마코니 헤추라 공동창업자는 “많은 이들이 각 작업에 맞는 최적 모델을 가려내는 복잡한 과정을 회피하고 단순히 유행에 편승하려 한다”고 지적했다.
모델맥싱 기조가 확산하면서 기업의 요청을 적합한 모델에 자동 연결해주는 '모델 라우팅' 솔루션도 덩달아 호황을 맞고 있다. 기업 지출 관리 플랫폼 램프에 따르면, 모델 라우터를 도입한 기업 비중은 지난해 1%에서 올해 5%로 5배 늘었다.
모델 라우팅 업체 레이라인의 데이비드 길모어는 “기업은 최신 기술 흐름에서 뒤처질까 봐 무작정 최신 AI를 도입하곤 한다”며 “막대한 API 비용 고지서를 받고 나서야 뒤늦게 사용 규모를 축소하며 효율화에 나서는 경우가 다반사”라고 현장 분위기를 전했다.
최호 기자 snoop@etnews.com
