인공지능(AI) 서비스가 서버나 클라우드를 거치지 않고 기기 자체적으로 정보를 수집·연산하는 기술이다. 이용자 관련 정보가 네트워크로 전송되지 않고 기기 내부에서 처리된다. 보안 측면에서 이점이 있다. 기기에 내장된 AI가 이용자 사용 패턴을 학습해 개인 맞춤형 서비스를 제공한다.

온 디바이스 AI는 통신이 불안정하거나 연결되지 않은 상태에서도 자유롭게 응용 서비스를 이용할 수 있다. 오픈AI 대화 전문 인공지능 챗봇 '챗GPT'를 비롯해 기존 AI 서비스 대부분이 중앙 컴퓨터로부터 데이터와 연산을 지원받는 클라우드 AI 형태로 제공된다는 점과 차이가 있다. 클라우드 AI는 대규모 컴퓨팅 자원을 바탕으로 높은 수준의 AI 기술 구현이 가능하다. 그러나 통신 상태에 따라 제약을 받을 수 있다.

높은 연산 능력을 갖춘 모바일 프로세서가 등장하면서 스마트폰과 같은 모바일 기기나 자율주행자동차 등에서 온 디바이스 AI 기술 구현이 가능해졌다. 구글은 온 디바이스 AI 칩 '텐서 G3'를 장착한 스마트폰 '픽셀8'을 선보였다. 픽셀8에는 구글 어시스턴트와 생성 AI 바드를 결합한 '어시스턴트 위드 바드'가 탑재돼 이메일 관리 등 각종 업무 처리를 돕는다.

삼성전자도 온 디바이스 AI에 최적화된 생성형 AI 모델 '가우스'를 공개했다. 머신러닝 알고리즘을 기반으로 제작돼 문서를 요약이나 번역, 개발자 코딩 작업 지원, 이미지 생성·편집 등 다양한 기능을 구현할 수 있다. 삼성전자 차세대 플래그십 스마트폰에 온 디바이스 AI 형태로 장착될 가능성이 제기된다.