기업 내 그래픽처리장치(GPU) 평균 활용률이 5%에 불과하다는 분석 결과가 나왔다. 인공지능(AI) 시대 필수 인프라인 GPU 보유 확대도 중요하지만 활용도를 극대화할 수 있는 기술적 뒷받침이 필요한 것으로 풀이된다.
31일 글로벌 클라우드 최적화 기업 캐스트 AI에 따르면 아마존웹서비스(AWS)·마이크로소프트(MS) 애저·구글 클라우드 등 빅3 클라우드 사업자의 약 2만3000개 실제 운영 클러스터를 분석한 결과, 쿠버네티스를 최적화하지 않은 기업 시스템 환경에서 GPU 평균 활용률은 5% 내외였다.
캐스트 AI는 기업 간 AI 투자 경쟁 과열로 GPU를 과다 확보했거나, 타임 슬라이싱 등 GPU 공유 빈도가 낮아서, 또는 리소스 자동 최적화 부족 등으로 GPU 용량 약 95%가 대다수 시간 어떠한 작업에도 활용되지 않는다고 진단했다. 적정 활용률 50%에 현저히 미치지 못한다고 평가했다.
이렇듯 GPU 물량 확보만으로 AI 인프라 확대가 완성되지 않는다는 게 국내외 업계 중론이다. GPU를 많이 확보하는 것도 중요하지만 데이터센터와 클라우드 플랫폼, 추론 소프트웨어, 운영 데이터를 얼마나 유기적으로 연결하고 실제 생산성으로 전환하는지가 AI 인프라 경쟁력을 가르는 기준이 되고 있다.
국내에서도 주요 AI 스타트업을 중심으로 자원 관리과 추론 최적화, 모니터링, 데이터센터 설계 등 각 레이어별 GPU 활용 효율을 높이고 있다. GPU 자원을 빠르게 서비스에 투입하고 안정적으로 가동하며 여러 작업에 지속 배분하는 등 기술이 해법이다.
엘리스그룹은 모듈형 데이터센터 '엘리스 AI PMDC'와 클라우드 인프라 소프트웨어 'ECI'를 연계해 기업별 워크로드에 맞춘 모듈 구축과 증설, GPU 가상화와 자원 스케줄링, 데이터센터 관제와 클러스터 모니터링까지 하나로 연결해 GPU 활용률을 최적화하고 있다.
노타는 자체 기술로 인프라 활용을 극대화한다. 업스테이지 '독자 AI 파운데이션 모델' 프로젝트에서 GPU 8개로 구동되던 '솔라 오픈2' 모델을 양자화로 GPU 2개로 구동할 수 있게 경량화한 게 대표 사례다. 래블업은 '백엔드닷에이아이' 가상화·분산 학습 등으로 AI 인프라 운영 효율을 최적화하고 있다.
또 프렌들리AI는 GPU로 들어오는 요청 스케줄링과 배치 최적화를 통해 추론 비용을 낮추는 방식에 집중한다. 와탭랩스 등 옵저버빌리티 기업은 인프라와 애플리케이션·AI 모델 상태를 통합 관찰하는 방식으로 효율화를 검토하고 있다.
박정국 엘리스그룹 최고기술책임자(CTO)는 “AI 인프라 경쟁력은 자원을 얼마나 빠르게 서비스에 투입하고 안정적으로 활용하느냐에 달렸다”며 “단순히 GPU 집적 규모를 늘리는 게 아닌 워크로드에 맞춘 인프라 통합 운영으로 동일 비용에 더 많은 유효 연산과 토큰을 처리하는 게 중요하다”고 말했다.
박종진 기자 truth@etnews.com
