인스웨이브시스템즈는 온디바이스(On-Device) 대규모 언어 모델(LLM)을 지원하기 위한 새로운 솔루션 'W-매트릭스 AI(W-Matrix AI)'를 출시했다고 28일 밝혔다.
W-Matrix AI 애플리케이션(앱)은 인스웨이브 모바일 앱 플랫폼 'W-Matrix for Mobile'과 결합하여, 개발자들이 온디바이스 LLM을 손쉽게 사용할 수 있는 올인원 패키지를 제공한다.
W-Matrix AI는 △온디바이스 LLM 파일 관리 기능 △파인튜닝 된 온디바이스 LLM 파일 배포에 필요한 저장소 기능 △사용자의 입력값과 검색된 데이터 기반을 추론하는 맥락 검색 기능 △온디바이스 임베딩 기능 △유사도검색 기능 △모바일 임베딩 데이터 생성도구 △모바일 LLM 모델 사용을 위해 플랫폼별 변환 도구로 적합한 파일 형식의 모델을 변환하는 기능 등 주요 기능을 포함하고 있다.
주요 기능들은 웹 개발자와 LLM 사용 경험이 없는 일반 앱 개발자 모두가 온디바이스 LLM을 지원하는 앱을 쉽게 개발할 수 있도록 설계되었다.
W-Matrix AI 적용 사례로는 인스웨이브의 기술 지원 사이트 'W-Tech'에 내장된 AI 챗봇 서비스를 모바일 앱 형태로 제공하는 'W-Talk'가 있다. 지난해 12월 iOS 버전이 출시된 데 이어, 올해 2월 안드로이드 버전이 출시되었다. 이 앱은 갤럭시 S24와 같이 온디바이스 AI를 본격적으로 지원하는 최신 기기에서 사용성이 극대화된다.
또한 W-Matrix AI는 애플 비전 프로(Apple Vision Pro)를 포함한 다양한 디바이스에도 지원을 준비하여 다음달 3월 출시 예정이다. 사용자들은 보다 다양한 디바이스에서 온디바이스 LLM의 혜택을 누릴 것으로 기대된다.
인스웨이브시스템즈 관계자는 “W-Matrix AI의 출시로 개발자들은 이제 더욱 쉽게 온디바이스 LLM을 앱에 통합하여 사용자에게 더욱 풍부하고 개인화된 경험을 제공할 수 있게 됐다”면서 “AI 기술을 활용한 다양한 제품을 시장에 선보이기 위해 지속적으로 노력하겠다”고 말했다.
임중권 기자 lim9181@etnews.com
