AI 병렬 스토리지 ExaStor와 연계…AI 학습·추론 환경을 위한 데이터 처리 기술 고도화
인공지능(AI)·고성능컴퓨터(HPC) 스토리지 전문기업 글루시스(대표 박성순)는 최근 한국전자통신연구원(ETRI)이 개발한 AI 분산 학습·추론 프레임워크(코드명 OptimusPrime)의 기술이전을 성공적으로 완료했다고 5일 밝혔다.
글루시스와 ETRI는 지난 2024년부터 SW컴퓨팅 원천기술개발사업인 'AI 연산 가속기 최적화 고효율 병렬 스토리지 SW 기술 개발' 과제를 각각 주관기관과 참여기관으로 공동 수행해 왔다. 이번 기술이전은 양기관이 추진해 온 공동 연구의 연장선에서 이루어졌다. 글루시스 연구개발진은 프레임워크의 구조와 동작 원리, 즉각적인 IR(Intermediate Representation) 기반 모델 분석, 자동 병렬화, 학습·추론 스케줄링 기술 등 향후 제품 적용에 필요한 핵심 역량을 확보했다.
최근 생성형 AI와 멀티모달 AI의 확산으로 AI 모델의 규모가 빠르게 커지면서, 제한된 컴퓨팅 자원을 효율적으로 활용하기 위한 병렬 학습 기술의 중요성이 높아지고 있다. 이번에 이전받은 기술은 PyTorch 기반 AI 모델을 IR 형태로 변환·분석해 모델 구조와 연산 특성을 파악하고, 컴퓨팅 인프라에 적합한 모델 변환과 학습 스케줄링을 자동으로 수행하는 AI 학습·추론 최적화 프레임워크다.
기존 AI 모델을 별도로 수정하지 않고도 데이터(Data), 파이프라인(Pipeline), 텐서(Tensor) 병렬화를 자동으로 적용할 수 있다. DGX와 같은 고성능 AI 시스템뿐만 아니라 범용 그래픽처리장치(GPU) 서버 환경에서도 학습·추론 성능과 자원 활용 효율을 높일 수 있는 것이 특징이다. 기존 분산 학습 프레임워크는 AI 인프라 환경과 모델 특성에 맞춰 별도의 설정과 최적화 과정이 필요한 반면, ETRI 기술은 컴퓨팅 환경에 적합한 병렬 학습·추론 구성을 자동화함으로써, 대학과 연구기관, 중소기업 등 제한된 GPU 자원을 보유한 환경에서도 대규모 AI 모델을 보다 효율적으로 활용할 수 있도록 지원한다.
글루시스는 이번에 확보한 기술을 자사의 AI 병렬 스토리지 ExaStor와 연계해 AI 데이터 플랫폼 경쟁력을 강화한다는 계획이다. ExaStor는 Lustre 기반 병렬 파일 시스템과 NVMe 아키텍처를 기반으로 AI 및 HPC 환경에서 초고속 데이터 처리 성능을 제공하는 병렬 파일 스토리지이다. AI 분산 학습·추론 프레임워크와 연계하면 대규모 AI 학습 환경에서 GPU와 스토리지 간 데이터 처리 효율을 높여 GPU 활용률을 향상시키고, 학습 및 추론 시간을 단축하는 등 AI 인프라 전반의 성능 개선을 기대할 수 있다.
글루시스는 기술 연동 가능성을 검증한 뒤 관련 기술의 제품 적용과 사업화를 단계적으로 추진할 계획이다. 또한 ETRI와의 지속적인 연구 협력을 통해 대규모 학습 과정의 체크포인트(Checkpoint)와 생성형 AI 추론 과정의 KV-Cache 처리 성능을 향상시키기 위한 AI 스토리지 기술도 중장기적으로 발전시켜 나갈 방침이다.
이번 기술이전을 진행한 글루시스 김경표 연구소장은 “AI 분산 학습·추론 기술이 실제 인프라에 적용되면 제한된 컴퓨팅 자원에서도 대규모 모델의 처리 효율과 확장성을 높일 수 있다는 점에서 의미가 크다”며, “이번 기술이전을 통해 ExaStor를 AI 학습과 추론에 최적화된 데이터 플랫폼으로 발전시키고 AI 인프라 시장에서 차별화된 경쟁력을 확보해 나가겠다”고 밝혔다.
ETRI AIDC 연구본부/AI 컴퓨팅시스템연구실의 고광원 실장은 “글루시스와는 스토리지 분야에서 오랜 기간 기술 협력을 이어온 파트너”라며, “글루시스의 스토리지 기술력과 ETRI가 확보한 AI 학습·추론 효율화 기술을 결합해 AI 인프라 핵심 기술 고도화를 공동으로 추진하고, 이를 통해 국내 AI 인프라 생태계 발전과 기술 확산에 기여하겠다”고 밝혔다.
이경민 기자 kmlee@etnews.com
