전남대학교는 손형일 융합바이오시스템기계공학과 교수팀이 박용현 광주과학기술원(GIST) 이노코어(InnoCORE) 박사와 공동으로 복잡한 온실 상황의 관계를 인식하고 시각·언어 추론으로 생성한 작업계획을 양팔 로봇 행동으로 변환하는 휴머노이드형 농업로봇을 공동 개발했다고 15일 밝혔다.
이번 연구는 손형일 교수와 박용현 박사가 앞서 개발한 장면 그래프 생성(SGG) 기반 시각 장면 이해(VSU) 및 규칙 기반 작업계획 연구를 확장한 것이다. 선행 연구는 과실·잎·줄기의 객체-속성-관계를 장면 그래프로 표현하고 수확·적엽·적과 작업과 양팔 협업 여부를 결정하는 프레임워크다.
연구팀이 개발한 주요 요소는 농작업 상황에 특화된 SGG 기반 시각 장면 이해(VSU)다. SGG는 적녹청(RGB)-D 영상에서 과실·잎·줄기를 객체 노드로 검출하고 익음·미숙과와 유연·강성의 속성, 가려짐·연결됨·가까움·앞에 있음의 관계를 방향성 주어-관계-객체 트리플렛으로 구조화했다. 로봇은 객체의 위치뿐 아니라 객체 간 상호작용과 농작업 맥락을 함께 해석한다.
연구팀은 SGG가 인식한 객체-속성-관계를 근거 사실 집합으로 변환해 시각·언어 모델(VLM)이 장면에서 확인된 정보만으로 작업계획을 생성하도록 했다. VLM은 수확·적엽·적과 중 수행할 작업, 목표 객체, 양팔 협업 여부와 행동 순서를 결정하고 형식 검증, 근거 사실 집합 일관성 검증, 실행 가능성 검토를 순차적으로 거친다. 영상에 없는 대상이나 관계를 만들어내는 AI 환각이나 로봇이 수행할 수 없는 계획이 발견되면 계획을 수정하거나 실행 전에 차단한다.
마지막으로 VLA 기반으로 접근과 밀기 동작으로 변환하는 인식-추론-행동 파이프라인을 구현했다. 목표 과실이 유연한 잎에 가려진 경우 보조 팔이 잎을 밀어 접근 경로를 확보하고, 주 작업 팔이 목표에 접근한 반면 줄기처럼 손상 위험이 있는 구조물은 회피하며 로봇 관절 자세를 계산하는 역기구학과 충돌 검사에서 도달 불가능하거나 위험한 동작은 중단한다.
연구팀은 온실 영상 입력부터 장면 그래프 생성, 작업계획, 계획 검증, 휴머노이드의 양팔 행동까지 전 과정을 폐루프로 연결하고 개발한· 로봇을 고흥 스마트팜 혁신밸리의 상용 토마토 온실에서 현장 실증했다. 기존 객체 검출 중심 농업로봇이 '무엇이 어디에 있는가'를 인식하는 데 주로 집중했다면, 이번 기술은 관계와 속성에 기반해 '무엇을, 어떤 순서로, 어느 팔이 수행할 것인가'를 추론하고 검증된 계획을 물리적 행동으로 연결하는 추적·검증 가능한 피지컬 AI 구조를 제시했다.
손형일 교수는 “현재 시스템은 목표 접근과 가림물 제거 동작에 초점을 두고 있으며 향후 파지·절단 등 작업과 촉각·힘 피드백을 결합한 멀티모달·언어·행동(MLA) 모델로 확장 연구할 계획”이라고 말했다.
전남광주=김한식 기자 hskim@etnews.com
