퀄컴이 인공지능(AI) 기업들이 온디바이스AI 기기를 적극 활용해 AI 서비스 구현 비용을 절감해야 한다고 주장했다.
두르가 말라디 퀄컴 기술기획·엣지솔루션부문 본부장은 23일(현지시간) 하와이 마우이에서 열린 '스냅드래곤 서밋 2024' 3일차 'AI 토크' 세션에 참석해 “AI를 실제로 구현하려면 온디바이스AI 기기를 최대한 활용해야 한다”며 “이는 이미 진행 중에 있다”고 밝혔다.
그는 “클라우드에서만 AI 처리를 실행하면 비용 부담이 크다”며 “100만개 토큰당 클라우드는 최대 4달러 비용이 발생하지만 온디바이스AI 기기에서는 비용이 거의 발생하지 않는다”고 설명했다.
토큰(Token)은 자연어 처리(NLP) 모델이 텍스트 데이터를 처리하는 기본 단위다. 클라우드AI에만 의존한다면 AI가 처리하는 데이터가 많아질수록 기업이 부담해야 하는 비용이 기하급수적으로 커질 것이라는 예상이다.
AI 서비스를 제공하려면 클라우드를 임대하거나 직접 그래픽처리장치(GPU) 등을 구입해 서버를 구축해야 한다. 또 전력 소모가 큰 AI 연산으로 인한 운영 비용 부담까지 감수해야 한다. 클라우드AI와 온디바이스AI를 적절히 혼용해 사용하는 '하이브리드 AI'가 해법이라는 설명이다.
말라디 본부장은 “마크 주커버그 메타 최고경영자(CEO), 샘 올트만 오픈AI CEO도 언급했듯이 AI를 온디바이스AI 기기에서 실행하면 응답시간, 프라이버시, 전력 효율성이 향상되고 클라우드의 AI 처리 성능 한계를 넘어설 수 있다”고 강조했다.
이어 “클라우드로만 AI를 구현하면 2030년까지 세계 전력 생산의 3.5%를 사용하게 될 것으로 예측된다”이라며 “반면에 스마트폰은 25년 전 데스크톱, 소규모 슈퍼컴퓨터보다 강력한 성능을 갖췄지만 에너지 소비는 LED 전구보다 적다”고 설명했다.
박진형 기자 jin@etnews.com
