한국과학기술원(KAIST) 교원창업기업이 생성형 인공지능(AI) 기술을 활용해, 말로 지시하는 것만으로 스마트 기기 애플리케이션(앱)을 자동 실행하고 복잡한 작업을 수행케 하는 자연어 기반 '앱 자율실행' 기술을 개발했다.
앱 자율실행 기술로 중국 음식점에서 짜장면을 배달시키거나, 최저가 항공권을 찾아 예약하는 등 복잡한 작업을 기존 앱들이 자동 수행하도록 할 수 있다.
사용자 대신 작업을 수행하는 '에이전트' 서비스에 새로운 혁신을 불러일으킬 전망이다.
신인식 KAIST 전산학부 교수가 2020년 세우고, 지난해 사용자인터페이스(UI) 기술로 CES 혁신상을 받기도 한 플루이즈가 낸 성과다.
최근 생성형 AI 기술이 발전하며 사용자 명령을 이해하는 자연어 처리 수준이 크게 높아졌다. 그러나, 현재 음성 비서 기능은 간단한 작업 수행 수준에 머물러 있다.
예를 들어 앱으로 음식을 주문하는 것은 간단해 보이지만, 실제 실행 과정을 들여다보면 결코 그렇지 않다.
식당과 음식 메뉴 선택, 배송지 입력 및 결제 진행 등 여러 단계를 거쳐야 한다. 이런 복잡한 과정을 자동 처리하는 것은 쉽지 않은 일이다.
또 세밀한 작업 수행을 위해서는 해당 앱을 개발한 서드파티 개발사와의 협력, 앱 프로그래밍 인터페이스(API) 연결이 필수다. 수 많은 서드파티 앱 개발사와 세밀하게 협력하는 것은 매우 어려운 일이다.
플루이즈는 초거대 언어모델(LLM)을 활용해 사용자 자연어 명령을 정확히 이해하고, 앱 내부에서 필요한 작업 경로를 찾아내는 방법으로 이 문제를 해결했다.
특히 플루이즈는 앱 사용자인터페이스(UI) 구조와 각 요소의 기능을 분석하고, 다양한 유형의 'UI 형태 정보'를 구축해 LLM에 지침을 제공해 기술 완성도를 높였다.
애플리케이션 프로그래밍 인터페이스(API) 문제는 AI가 사용자 대신 앱을 자동 조작하는 방식을 택해 극복했다.
현재까지 이런 앱 자율실행 기술이 서비스화된 사례는 전무하다. 플루이즈는 앤쌤과 계약을 맺고 7월 을 목표로 상용화를 추진 중이다.
또 자연어만으로 앱을 자동 실행하는 이 기술을 활용, 키오스트나 온라인 쇼핑 등에서 노인 및 디지털 취약계층이 서비스를 쉽게 사용할 수 있도록 하는 스핀오프도 고려 중이다.
신인식 교수는 이 기술이 “과거 컴퓨터 마우스의 등장을 넘어서는 인터페이스 혁명의 기반을 마련할 것”이라며 “스마트폰 앱을 비롯해 키오스크나 인터넷 쇼핑 등 다양한 분야에서 사용자 접근성을 높이는 역할을 할 것”이라고 말했다.
김영준 기자 kyj85@etnews.com
