가상과 현실 세계를 함께 경험하는 융합현실(MR·Mixed Reality)이 구현되려면 반도체 프로세서 처리 능력 향상이 필요한 것으로 나타났다. 한 개 기기에서 사용자 움직임, 가상 이미지, 소리 등 다양한 정보를 한번에 처리해야 하기 때문이다. 이런 복잡한 작업이 작은 착용형(웨어러블) 기기 내에서 이뤄져야 한다.
일란 스필링거 마이크로소프트(MS) 수석부사장은 `세미콘코리아 2017` 기조연설에서 자사 홀로렌즈 기술을 소개했다. 홀로렌즈는 증강현실(AR), 가상현실(VR)과 차별화한 융합현실(MR) 기기다. 머리에 쓰는 헤드마운트디스플레이(HMD) 형태다. 미국, 캐나다, 일본 등지에 공급되고 있고, 3∼4월께 중국에도 출시한다.
VR 기기와 달리 반투명 디스플레이로 실제 환경과 가상 홀로그램을 함께 볼 수 있다. 책상 위에 홀로그램으로 만든 가상 이미지를 올려둔 채, 손으로 조작하거나 동료에게 보여주는 식이다. 착용자가 시야를 돌려도 가상 이미지가 유지된다.
스필링거 부사장은 “앰비언트 컴퓨팅 시대에 기기 하나만 가져야 한다면 그것은 홀로렌즈일 것”이라면서 “별도 액세서리가 필요 없는 단일 장비로 현실과 가상을 아우르는 모든 기능을 수행할 수 있다”고 소개했다.
스필링거 부사장이 이번 행사에 홀로렌즈를 소개한 건 수많은 센서와 이를 아우르는 홀로그램프로세싱유닛(HPU) 때문이다. 기기 구조 중 한 층을 센서와 카메라로 채웠다. 주변 환경과 상대 편을 추적·인식하는 카메라, 센서를 이용해 가상과 현실을 연결한다.
센서층과 광학 층은 HPU에 통합된다. 현재 사용되는 홀로렌즈 HPU는 MS가 도시바와 협력해 개발했다. 상황별 설정과 센서 값, 추적 알고리즘을 유닛 한 개로 처리한다. 사용자 움직임, 소리 정보까지 HPU로 모인다. 스필링거 부사장은 HPU 성능을 홀로렌즈 핵심으로 소개했다.
그는 “HPU는 센서가 만들어낸 데이터를 비롯해 여러 가지 정보를 처리하는 마더보드 층에 있다”면서 “각 메모리 아키텍처 캐시 용량이 매우 크고, 초당 처리할 수 있는 픽셀 양도 상당히 높아야 한다”고 설명했다. 이어 “다음 세대 홀로렌즈가 가능하도록, 강력한 단일 장비가 되도록 (반도체 업계에 종사하는) 여러분의 역량이 반드시 필요하다”고 강조했다.
MS는 홀로렌즈 개량을 이어갈 방침이다. 여기에 HMU 성능 향상을 필수 과제로 내다봤다. 홀로렌즈로 구현하는 융합현실 기술이 건축·제조업 같은 산업 분야는 물론이고 게임, 우주·국방, 교육용으로도 활용될 것으로 기대한다.
송준영기자 songjy@etnews.com
