클라우데라가 인공지능(AI)과 빅데이터 처리 과정의 고질적인 속도 저하와 비용 부담을 기존 코드 수정 없이 그래픽처리장치(GPU)를 통해 해결하는 방안을 발표했다.
클라우데라는 클라우데라 데이터 엔지니어링(CDE)에 엔비디아 쿠다-X 라이브러리인 'cuDF'를 기반으로 한 아파치 스파크 4.1용 네이티브 GPU 가속 기능을 도입한다고 20일 밝혔다.
아파치 스파크용 엔비디아 cuDF 플러그인은 최근 발표한 클라우데라 애니웨어 클라우드를 지원할 예정이다. 이를 통해 파이스파크나 SQL 코드를 수정하지 않고도 스파크 워크로드를 가속할 수 있으며, 하이브리드 환경 전반에서 클라우드 인프라 비용을 절감하면서 'AI-레디' 데이터를 빠르게 준비할 수 있다.
기업이 AI 이니셔티브를 확대하면서 데이터 준비 속도는 핵심 과제로 부상했다. 대규모 스파크 워크로드는 완료까지 수 시간이 소요되는 경우가 많아 분석과 AI 애플리케이션 도입이 지연되는 동시에 클라우드 컴퓨팅 비용도 증가한다. 클라우데라 데이터 엔지니어링에 GPU 가속 기능을 직접 통합한다면 기존 스파크 애플리케이션을 그대로 사용하면서 코드나 운영 워크플로우를 변경할 필요 없이 처리 시간을 크게 단축할 수 있다.
아파치 스파크는 기업 데이터 파이프라인의 상당수를 구동하고 있다. 클라우데라 데이터 엔지니어링에 네이티브 GPU 가속 기능을 내장함으로써 기업은 운영 워크로드에 필요한 보안 및 거버넌스를 유지하면서 성능을 향상시킬 수 있다. 클라우데라는 스파크 워크로드에 엔비디아 cuDF를 활용해 기존 CPU 인프라 대비 엔비디아 GPU에서 최대 4배의 워크로드 가속을 제공할 예정이다. 이를 통해 기업은 데이터 처리 주기를 크게 단축할 수 있다.
엔비디아 쿠다-X 라이브러리를 통해 클라우데라 데이터 엔지니어링은 아파치 스파크 4.1 워크로드를 다룰 때 기존 코드를 전혀 고칠 필요가 없는 '제로 코드' 방식으로 GPU 가속을 곧바로 적용할 수 있다. 이와 함께 분석과 인공지능(AI) 구현에 필수적인 ETL 작업과 데이터 준비 속도를 끌어올려 준다.
컴퓨팅 실행 시간이 짧아지는 만큼 자연스럽게 클라우드 인프라 비용을 줄이는 효과도 거둘 수 있다. 복잡하고 번거로운 수동 드라이버 설정 과정이 아예 필요 없도록 내장형 배포 방식을 선택했다.
여기에 클라우데라 통합 데이터 패브릭을 바탕으로 기업 수준의 강력한 보안과 거버넌스를 유지해 준다. 퍼블릭 클라우드뿐만 아니라 프라이빗 클라우드, 소버린 클라우드, 그리고 온프레미스 환경에 이르기까지 어디서나 똑같이 일관된 성능을 발휘한다는 점이 가장 큰 강점이다.
단일 클라우드 공급업체에 한정되는 GPU 가속 솔루션과 달리, 클라우데라는 하이브리드 환경 전반으로 해당 기능을 확장하면서 일관된 거버넌스와 운영 환경을 유지한다. 기업은 온프레미스, 클라우드, 엣지 등 데이터가 있는 곳 어디서나 보안이나 유연성을 저해하지 않고 스파크 워크로드를 가속할 수 있다.
클라우데라가 최근 발표한 'AI 아키텍처 대전환' 보고서에 따르면, 응답자의 다수인 84%가 AI 워크로드로 인해 인프라 비용이 증가했다고 답했다. 스파크 처리를 가속하면 기업은 정제된 AI-레디 데이터를 빠르게 확보해 인프라 비용을 절감하는 동시에 데이터 엔지니어링, AI, 분석팀 전반의 생산성을 향상시킬 수 있다.
레오 브루닉 클라우데라 최고제품책임자(CPO)는 “많은 기업에서 AI의 걸림돌은 모델이 아닌, 원시 데이터를 얼마나 빠르게 신뢰할 수 있고 활용 가능한 인사이트로 전환할 수 있는지 여부”라며, “클라우데라 데이터 엔지니어링 내에서 스파크를 가속하면 이러한 병목을 해소할 수 있다. 이를 통해 고객은 데이터 준비 단계에서 분석과 AI 단계로 더욱 빠르게 나아가는 동시에 거버넌스, 보안, 운영의 일관성을 전략의 중심에 유지할 수 있다”고 전했다.
팻 리 엔비디아 전략적 기업 파트너십 부사장은 “AI 도입을 가속하는 가장 빠른 방법은 기업이 현재 운영하고 있는 방식에 부합하는 것”이라며 “엔비디아 AI 인프라와 쿠다-X 라이브러리가 클라우데라 데이터 엔지니어링에 네이티브로 통합됨에 따라, 기업은 파이스파크나 SQL 코드를 단 한 줄도 수정하지 않고 아파치 스파크 파이프라인의 비용을 절감하고 속도를 대폭 높여 비즈니스 데이터를 AI의 기반으로 전환할 수 있다”고 밝혔다.
이번에 발표한 아파치 스파크용 GPU 가속 기능은 '이볼브 2026' 싱가포르에서 발표한 클라우데라 애니웨어 클라우드의 일부로 20일부터 클라우데라 데이터 엔지니어링에서 제공된다.
최호 기자 snoop@etnews.com
