광주과학기술원(GIST·총장 임기철)은 김승준 AI융합학과 교수팀이 가상환경의 몰입을 유지하면서도 필요한 현실 물체를 자연스럽게 활용할 수 있도록 지원하는 인공지능(AI) 기반 현실-가상 융합기술 '셀프블렌딩(SelfBlending)'을 개발했다고 16일 밝혔다.
셀프블렌딩은 사용자가 손동작으로 물병이나 수첩과 같은 현실 물체를 등록하면 AI가 이를 학습·인식해 필요할 때 해당 물체만 가상환경 안에 선택적으로 표시하는 현실-가상 융합 기술이다.
사용자가 가상현실(VR) 게임이나 가상 업무 환경에 몰입한 상태에서 현실 물체를 사용해야 할 경우 VR 헤드셋을 벗거나 현실 화면 전체를 표시하는 패스스루(VR 헤드셋 카메라로 촬영한 현실 화면 전체를 사용자에게 보여주는 기능)를 사용해야 해 가상환경의 연속성이 저하되는 문제가 있었다.
연구팀은 VR 사용 중 현실 세계를 단순한 방해 요소가 아닌 상호작용 자원으로 활용해 사용자가 원하는 현실 물체만 가상환경 안에 선택적으로 표시할 수 있는 기술을 개발했다. 사용자가 물병이나 메모장을 미리 등록해 두면 필요할 때마다 VR 기기를 벗지 않고도 가상 공간 안에서 해당 물체만 선택적으로 확인하고 활용할 수 있는 방식이다. 시각적 흐름이 끊기지 않기 때문에 사용자는 눈을 가린 VR 기기를 벗거나 현실 화면으로 전환하는 번거로움이 없다.
이는 기존 패스스루 방식처럼 현실 풍경 전체를 띄워 가상환경의 흐름을 깨뜨리는 대신, 꼭 필요한 현실 자원만 가상 세계로 가져옴으로써 작업 연속성을 극대화한 것이 특징이다.
연구팀이 18명의 참가자를 대상으로 VR 헤드셋 제거 방식, 기본 패스스루 방식, 셀프블렌딩 방식을 비교하는 사용자 평가를 수행해 분석한 결과, 셀프블렌딩은 △사용자가 실제로 가상환경 안에 있는 것처럼 느끼는 정도인 현존감(Presence) △가상환경을 더욱 명확하게 인식하는 정도인 가상환경 인식도(Virtual Awareness) △상호작용의 자연스러움을 나타내는 상호작용 개연성(Plausibility) 등 주요 평가 지표에서 가장 우수한 성능을 보였다.
사용자는 현실 물체를 사용하는 과정에서 더 적은 노력으로 작업을 수행할 수 있었다. 물체를 활용하는 데 필요한 시간도 기존 패스스루 방식과 큰 차이가 없어 몰입감 향상을 위해 작업 효율성을 희생할 필요가 없는 것으로 나타났다.
김승준 교수는 “셀프블렌딩은 사용자가 필요한 현실 물체만 가상환경에 선택적으로 표시하는 기술로 VR 몰입감을 유지하면서도 현실 물체와 자연스럽게 상호 작용할 수 있는 새로운 방식을 제시했다”며 “향후 교육·훈련·원격협업 등 다양한 확장현실(XR) 분야에서 활용될 수 있을 것으로 기대한다”고 말했다.
광주=김한식 기자 hskim@etnews.com
