인공지능(AI) 경쟁의 다음 승부처는 현실세계다. 디지털 환경의 에이전틱 AI를 넘어, 현실에서 보고 판단하고 움직이는 피지컬 AI로의 확장이 시작되고 있다.
언어를 잘하는 모델이 곧바로 물리세계도 잘 다루는 것은 아니다. 로봇이 사람의 지시를 수행하려면 사물간 공간적 관계, 작업 진행 정도, 곁에 있는 사람이 원하는 바를 스스로 읽어 내야 한다. 필자의 연구실이 주목해 온 문제이자, 우리 독자 파운데이션 모델이 넘어야 할 다음 관문도 바로 이 지점이다.
첫 번째는 공간을 읽는 능력이다. 올해 컴퓨터비전·패턴인식학회(CVPR)에서 발표한 논문 '여러 시점 간 관계를 통한 다중 시점 공간 추론 학습(Learning Multi-View Spatial Reasoning from Cross-View Relations)'은 여러 시점 장면 간 관계를 학습 신호로 활용해 시각언어모델이 공간을 추론하도록 한 연구를 다뤘다. 시각 정보를 단순히 인식하는 데 그치지 않고, 여러 관찰 결과를 종합해 현실의 구조를 이해하는 능력이 실제 행동의 정확성으로 이어질 수 있음을 확인했다.
두 번째는 사람의 의도를 읽는 능력이다. 사람은 말뿐 아니라 시선과 손짓으로도 의도를 전달한다. 최근 공개한 '언어·1인칭 인간 신호를 활용한 자연스러운 인간-로봇 상호작용용 계층적 정책(Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction)' 논문에서는 스마트글래스로 사용자의 1인칭 시야와 시선, 음성을 받아 시각언어모델이 이를 함께 해석하도록 했다. 사람이 기계의 복잡한 명령 체계에 적응하는 대신, 기계가 사람의 자연스러운 의사 표현을 이해하도록 한 접근이다.
이러한 연구 경험은 정부의 독자 AI 파운데이션 모델 프로젝트에 참여하는 SK텔레콤 정예팀의 'A.X K2' 개발 과정에도 반영됐다. 필자의 연구실은 사람과 로봇의 행동을 담은 데이터를 연속적인 시각 정보로 가공하고, 모델이 이미지 시퀀스만으로 작업 진행 단계를 판단하거나 이후 수행될 행동을 예측하도록 하는 학습 데이터를 제공했다.
한 장의 이미지에서 무엇이 보이는지 맞히는 것과, 여러 장면의 변화로 지금 어떤 일이 벌어지는지 이해하는 것은 다른 문제다. 예를 들어 조립이나 물체 운반 과정에서 어떤 단계가 끝났고 다음에 무엇이 필요한지 판단하려면 시간에 따른 상태 변화 추적이 필요하며, 이는 AI 에이전트와 로봇 모두에 필수적이다.
A.X K2가 보유한 언어적 추론 능력에 공간과 시간에 대한 이러한 이해가 결합된다면, 사용자의 요청에 답하는 수준을 넘어 현재 상황에 맞는 후속 작업을 판단하는 에이전틱 태스크에서도 경쟁력 있는 성능을 보일 것으로 기대한다. 특히 작업 진행도 측정과 다음 행동 예측은 제조와 물류, 서비스 로봇, 휴머노이드 등 피지컬 AI 분야로 확장하기 위한 핵심 기반이 될 수 있다.
독자 AI 파운데이션 모델의 의미도 해외 모델과 유사한 언어 성능을 내는 데만 있지 않다. 국내 연구진과 기업이 축적한 특화 기술과 데이터를 하나의 기반 모델에 결합해 우리 산업에 맞게 발전시켜야 한다. 공간 추론과 의도 이해, 행동 예측 기술이 A.X K2에 축적된다면 한국 독자 AI의 기술적 차별성을 보여줄 것이다.
앞으로의 AI 경쟁은 더 많은 지식을 기억하는 모델보다 현실의 변화를 정확히 읽고 다음 행동을 올바르게 선택하는 모델이 주도할 가능성이 크다. A.X K2가 디지털 환경의 AI 에이전트를 넘어 사람과 현실을 이해하고, 궁극적으로 물리 세계에서 신뢰할 수 있게 행동하는 피지컬 AI의 기반으로 성장하기를 기대한다.
이기민 KAIST 김재철AI대학원 조교수 kiminlee@kaist.ac.kr
