광주과학기술원(GIST)은 김의환 AI학과 교수팀이 로봇이 주변의 물체뿐 아니라 손잡이·버튼 같은 세부 부품과 그 기능까지 파악할 수 있는 인공지능(AI) 기술을 개발했다고 17일 밝혔다.
연구팀은 물체와 부품의 위치뿐 아니라 각각의 기능과 가능한 행동까지 하나로 연결해 보여주는 '통합 3차원(3D) 장면 그래프(3DSG)'를 제시하고 실제 카메라 영상으로부터 이를 자동으로 구축하는 AI 기술 '개방형 어휘 기반 부분 인식 3D 장면 그래프 생성(OP3DSG)'을 개발했다.
3DSG는 로봇이 주변 환경을 이해하고 이동하거나 작업 순서를 계획할 수 있도록 공간 속 물체와 물체 사이의 관계를 연결해 표현하는 일종의 로봇용 3D 지식지도이며 OP3DSG는 실제 카메라 영상으로부터 통합 3DSG를 자동으로 구축하는 AI 기술이다.
연구팀은 새롭게 개발한 유니그래프 3D 평가 체계를 활용해 OP3DSG의 성능을 검증했다. 그 결과 AI가 찾아낸 상위 3개 후보 안에 정답 부품이 포함되는 비율은 83.6%로 나타났다. 기존 비교 방법 가운데 가장 높은 성능인 52.4%보다 31.2%포인트 향상된 수치다.
물체와 부품 사이의 공간적 관계를 파악하는 성능도 기존 최고 성능보다 7.9%포인트 높았으며, 기능적 관계를 파악하는 성능 역시 9.2%포인트 향상됐다.
연구팀은 개발한 기술을 이동형 로봇 '스트레치 3(Stretch 3)'에 적용해 실제 환경에서의 활용 가능성도 확인했다. “빨래를 정리해 줘”라는 지시를 받으면 수건을 찾아 바구니에 넣는 작업 순서를 계획할 수 있었으며, “목이 마르다. 마실 때 쓸 수 있는 것을 가져다 달라”와 같이 구체적인 물체 이름을 직접 제시하지 않은 지시에도 기능적 관계를 바탕으로 필요한 물체를 찾아 해당 위치를 이동 목표로 설정할 수 있었다.
이번 연구는 사람이 로봇에게 물체의 정확한 이름이나 위치를 일일이 알려주지 않아도, 주변 환경에 있는 물체와 부품의 기능적 관계를 바탕으로 사람의 지시를 구체적인 작업으로 연결할 가능성을 보여준다.
김의환 교수는 “이번 연구의 핵심은 로봇이 '무엇이 어디에 있는지'뿐 아니라 '어떤 부품을 사용할 수 있고, 어떻게 사용할 수 있는지'까지 이해하는 데 필요한 정보를 하나로 연결한 것”이라며 “앞으로 서비스 로봇이 복잡한 실제 환경을 이해하고, 사람의 자연어 지시를 구체적인 작업 계획과 이동으로 연결하는 데 기반 기술로 활용할 수 있을 것으로 기대한다”고 말했다.
전남광주=김한식 기자 hskim@etnews.com
