망고부스트가 추론 서비스 사업을 본격화한다. 데이터처리장치(DPU)와 서버 등 제품 공급에서 하드웨어·소프트웨어를 결합한 토털 서비스로 사업을 확대한다.
김장우 망고부스트 대표는 12일 본지와 인터뷰에서 “지금까지 필요한 제품을 개발하면서 서버와 카드 등을 판매했다면 이제는 고객을 직접 상대하는 단계”라며 “연구개발(R&D) 모드에서 사업 모드로 전환하고 있다”고 밝혔다.
외부 인프라를 빌려 소프트웨어를 얹는 방식보다 시스템 구축과 운영 전반에서 비용을 낮출 수 있다는 판단이다.
핵심 경쟁력은 하드웨어와 소프트웨어를 함께 설계·개선하는 역량이다. 김 대표는 “어디에서 하드웨어 가속이 필요한지, 소프트웨어를 어떻게 바꿔야 하는지 판단해야 전체 시스템을 개선할 수 있다”고 짚었다.
대표적으로 CPU가 맡던 데이터 전송을 DPU가 대신해 CPU 부담을 축소할 수 있다. 이전 AI 연산 결과를 저장했다가 빠르게 불러와 재활용하는 방식으로 중복 연산도 줄인다. 이를 통해 같은 GPU 자원으로 더 많은 요청을 처리한다는 설명이다.
망고부스트는 올해부터 내년 사이 국내에 1~5메가와트(MW) 규모 AI 인프라를 구축할 계획이다. 이를 통해 자체 하드웨어와 소프트웨어를 결합한 추론 서비스의 가격 대비 성능을 입증하고, 이후 해외로 사업을 확장한다는 구상이다.
시리즈B 투자 유치도 연내 마무리를 목표로 진행하고 있다. 구체적인 투자 규모는 공개하지 않았다. 확보한 자금은 서비스 운영 기반 구축과 사업 확대에 투입한다.
망고부스트는 올해 매출이 100억원을 웃돌 것으로 예상했다. 지금까지 서버와 카드 등 제품 판매가 중심이었다면 내년부터는 추론 서비스 매출이 본격화할 것으로 기대하고 있다. 인프라와 서비스 이용량을 확대해 성장을 가속한다는 구상이다.
김 대표는 “AI 인프라 경쟁은 결국 자본 싸움에서 가격 대비 성능 싸움으로 바뀔 것”이라며 “대규모 AI 서비스를 운영하는 기업에는 비용을 10~20% 낮추는 것도 큰 의미가 있는 만큼, 경쟁력을 입증할 것”이라고 말했다.
이날 망고부스트는 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 '망고부스트 신규 서비스 출시 기자간담회'를 열고, 서버리스 인공지능(AI) 추론 플랫폼 '망고 인퍼런스'를 처음 공개했다.
풀스택 AI 인프라를 기반으로 제공되는 추론 서비스로, 복잡한 인프라 구축이나 구성 없이도 AI 모델을 간편하게 이용할 수 있다. 초 단위 배포와 낮은 지연, 처리량 극대화, 총소유비용(TCO) 효율 개선이 목적이다.
박유민 기자 newmin@etnews.com
