카페24는 하나의 응용프로그래밍 인터페이스(API)로 챗GPT, 클로드 등 120개 이상의 인공지능(AI) 모델을 통합 활용할 수 있는 AI 운용 인프라 서비스 'LLM 라우터'를 출시했다고 23일 밝혔다.
LLM 라우터는 사용자가 입력한 요청에 맞는 모델을 선택·분배·전환해 주는 '오케스트레이터'다. 사용자가 입력한 요청 내용을 바탕으로 코딩, 추론, 번역, 창작 등 작업 유형을 분석해 적합한 AI 모델을 자동 연결한다. 사용할 모델 범위를 미리 지정해두면 그 안에서만 자동 연결돼 모델을 일일이 비교하거나 선택하지 않아도 목적에 맞는 AI를 활용할 수 있다.
LLM 라우터는 충전한 만큼 사용하는 크레딧 종량제로 운영된다. 가입 즉시 무료 크레딧을 제공해 서비스를 직접 경험해볼 수 있다.
AI 서비스 제공사 우선순위를 설정할 수 있는 게 특징이다. 비용, 속도, 처리량 등 사용자가 선택한 기준에 따라 가장 적합한 제공사로 자동 연결한다. 특정 AI 모델이 응답하지 않을 경우를 대비해 '자동 전환 기능'도 지원한다. 사용자는 주 모델과 대체 모델을 미리 설정할 수 있으며, 앞선 모델이 응답하지 못하면 다음 후보 모델이 자동으로 요청을 이어받는다.
이 외에도 AI 활용 현황과 비용 구조 파악을 지원하는 실시간 대시보드, 사용자가 보유한 AI 모델 키 연결 기능을 제공한다.
카페24는 신규 AI 모델과 AI 서비스 제공사 지원 범위를 지속 확대하고, AI 운영과 관리 편의성을 높이는 기능도 함께 고도화해 나갈 계획이다.
이재석 카페24 대표이사는 “AI 모델의 종류가 빠르게 늘어나면서 이를 효율적으로 연결하고 운영하는 것이 새로운 과제가 되고 있다”면서 “사용자가 다양한 AI를 보다 편리하게 활용할 수 있도록 관련 인프라 역할을 충실히 해나가겠다”고 말했다.
현대인 기자 modernman@etnews.com
