한국전자통신연구원(ETRI)이 가상현실(VR)과 증강현실(AR)을 접목, 더욱 생생한 사용자 경험을 다수 인원에게 동시 제공하는 몰입형 확장현실(XR) 기술을 개발했다.
ETRI는 한국과학기술원(KAIST), 제이투와이소프트, 토즈와 공동연구로 이같은 성과를 거뒀다고 19일 밝혔다.
실제 공간에 가상 객체를 더하는 AR, 가상공간의 VR을 연동했다. AR에 맞춰 VR 공간을 만들어 합치고, 현장·원격 상관없이 다수 사용자가 한 콘텐츠에 함께 참여해 XR 체험을 하도록 했다. 이에 더해 사용자 제스처 인식까지 가상 캐릭터에 반영했다.
먼저 꼽는 핵심 기술은 딥러닝 기술로 2D 영상 데이터에서 사용자 3D 관절 위치 정보를 추론하는 '다인칭 사용자 3D 정밀 동작 분석 기술'이다.
고가의 그래픽처리장치(GPU) 장비를 탑재한 시스템 자원을 요구하는 기존 방식과 달리 스마트폰으로도 정보를 효율적으로 추출할 수 있다.
'복합공간상 사용자 위치 추정 기술'도 핵심이다. 스마트폰 카메라로 영상 특징점을 추출, 이를 기반으로 3D 포인트 클라우드를 생성·보정해 환경 맵을 구축한다. 맵을 활용해 사용자 디바이스 위치를 정밀 추정할 수 있다.
이 두가지 기술로 VR·AR 환경에서 다수 사용자에게 동일한 고품질 상호작용을 제공한다.
이밖에 다중·이형센서기반 상황적응형 인터랙션 프레임워크, 개인 모바일 디바이스 인터랙션 증강 기술도 주된 기술이다.
이번 성과는 노원기차마을 스키장 디오라마, 국립중앙도서관 '자산어보' 시범서비스에 적용됐으며, 지난 2023년 9월 독일 국제가전박람회(IFA)에 전시돼 많은 관심을 모았다. 'XR의 새로운 발전과 지평을 열어갈 원동력'이라는 평가도 받았다.
정성욱 ETRI 콘텐츠융합연구실 책임연구원은 “과학기술정보통신부에서 강조하는 연구개발(R&D) 결과물 조기 사업화를 위해 테마파크 및 국립박물관 등에서 실·가상 환경을 융합한 직관적 인터랙션을 제공하고 있다”며 “향후 다양한 산업분야로 확산될 수 있도록 과기정통부도 지원할 예정”이라고 밝혔다.
한편 이번 성과로 국내·외 특허출원 17건, 기술이전 3건이 이뤄졌다. 도출된 관련 SCI 논문은 총 6편이다.
김영준 기자 kyj85@etnews.com
