망고부스트, 日 프리퍼드 네트웍스와 AI 추론 인프라 기술 협력

Photo Image
망고부스트 DPU

인공지능(AI) 인프라 기업 망고부스트가 일본 AI 반도체 기업 프리퍼드 네트웍스(PFN)와 손잡고 차세대 AI 추론 인프라 기술 개발에 나선다.

망고부스트는 미국 시카고에서 열리는 국제 슈퍼컴퓨팅 콘퍼런스 'SC26'에서 PFN과 차세대 AI 추론 인프라 기술 협력을 위한 양해각서(MOU)를 교환한다고 17일(현지시각) 밝혔다.

양사는 그래픽처리장치(GPU)와 PFN의 자체 AI 프로세서 'MN-Core'에 망고부스트의 데이터처리장치(DPU) 및 메모리·스토리지 최적화 기술을 결합한다.

핵심은 서로 다른 프로세서가 AI 추론 작업을 분담하는 '이기종 컴퓨팅'이다. 입력 데이터를 처리하는 프리필(Prefill) 단계에는 GPU를, 답변에 필요한 토큰을 생성하는 디코드(Decode) 단계에는 PFN의 MN-Core 프로세서를 활용하는 방식이다.

이를 통해 컴퓨팅·네트워크·스토리지 자원을 통합적으로 최적화하는 차세대 'AI 토큰 팩토리(Token Factory)' 아키텍처의 기술적 실현 가능성을 검증한다.

우선 시뮬레이션 환경에서 시스템 통합 가능성을 평가하고, 이후 PFN의 'MN-Core L1000' 하드웨어 샘플이 확보되면 실제 장비를 활용한 성능 검증으로 협력을 확대한다. 평가 결과에 따라 공동 연구 논문과 기술 자료 발행도 검토한다.

망고부스트는 오는 20일까지 열리는 SC26에서 '풀스택 AI 팩토리의 새로운 기준'을 주제로 차세대 AI 인프라 최적화 기술도 선보인다.

이기종 컴퓨팅 클러스터, 프리필·디코드 분리(PDD), 차세대 메모리·스토리지 최적화 기술 등을 공개한다. 서버리스 AI 추론 플랫폼 '망고 인퍼런스'의 라이브 시연도 진행한다.

김장우 망고부스트 대표는 “차세대 AI 추론 인프라의 경쟁력은 단순히 더 많은 컴퓨팅 자원을 확보하는 것이 아니라 서로 다른 프로세서와 메모리·스토리지 자원을 얼마나 효율적으로 연결하고 최적화하느냐에 달려 있다”며 “차세대 AI 토큰 팩토리 아키텍처의 가능성을 검증해 나가겠다”고 말했다.

Photo Image
망고부스트는 미국 시카고에서 열리는 국제 슈퍼컴퓨팅 콘퍼런스 'SC26'에서 PFN과 차세대 AI 추론 인프라 기술 협력을 위한 양해각서(MOU)를 교환한다고 17일(현지시각) 밝혔다. (사진=망고부스트)

박유민 기자 newmin@etnews.com

  • 놓치면 아쉬운 정보AD

브랜드 뉴스룸