레드햇이 소프트뱅크와 손잡고 인공지능(AI)과 무선접속망(RAN)의 통합을 가속화한다.
레드햇은 소프트뱅크의 AI-RAN 오케스트레이터인 '아이트라스'에 오픈소스 프레임워크인 'llm-d'를 통합했다고 10일 밝혔다.
이번 협력은 통신망 엣지 환경에서 AI 모델이 작동할 수 있는 실질적인 운영 체계를 마련하기 위해 이뤄졌다.
최근 생성형 AI의 확산으로 인해 통신 사업자는 RAN을 운영하는 동일한 하드웨어에서 AI 업무를 동시에 처리해야 하는 과제에 직면해 있다. AI와 통신망이 자원을 효율적으로 나눠 쓰면서도 서로 방해하지 않게 관리하는 것이 핵심이다. 레드햇과 소프트뱅크는 이러한 문제를 해결하기 위해 llm-d를 도입했다. llm-d는 여러 노드에 걸쳐 대규모 언어 모델(LLM)의 추론 작업을 분산 처리함으로써, 엣지 환경에서도 고성능 AI 서비스를 안정적으로 구현할 수 있도록 설계됐다.
기존의 AI 추론 기술인 vLLM은 단일 장치 내에서는 뛰어난 성능을 보였으나, 여러 장치가 연결된 복잡한 환경을 관리하는 데는 한계가 있었다. llm-d는 쿠버네티스 기술을 활용해 이러한 한계를 극복하고, 여러 노드에 걸쳐 AI 추론 업무를 지능적으로 배분한다. 이를 통해 통신 사업자는 AI 워크로드와 무선망 워크로드를 하나의 시스템 안에서 최적으로 오케스트레이션하며, 자원을 유연하게 확장하거나 축소할 수 있게 된다.
특히 이번 통합에서 주목할 점은 하드웨어 자원의 특성을 고려한 최적화 기술이다. AI 연산 과정을 연산량이 많은 '프리필' 단계와 메모리 사용이 중요한 '디코드' 단계로 분리하고, 각 단계에 최적화한 자원을 동적으로 할당하는 방식을 지원한다. 이 기술은 자원 활용도를 극대화하는 동시에, AI 작업이 갑자기 늘어나더라도 핵심적인 통신 기능이 저해되지 않도록 보호해 네트워크의 안정성과 서비스 품질을 유지한다.
또한 사용자의 요청 변화에 맞춰 시스템이 스스로 확장되는 자동 기능도 갖췄다. 수요에 따라 연산 역할을 자동으로 할당함으로써 응답 시간을 단축하고 전력 소비를 줄이는 효과를 거둘 수 있다. 이는 통신 사업자의 운영 비용(TCO)을 절감하고 탄소 배출을 줄이는 지속 가능성 목표 달성에도 기여할 전망이다.
최호 기자 snoop@etnews.com
