혼합현실은 가상과 실재가 함께 제공되는 시스템으로 흔히 ‘MR(mixed reality)’이라 줄여 부르기도 한다. 여기서 ‘함께’라는 말은 스크린과 같은 하나의 시스템 표면에 가상과 실재가 중첩되거나 병치되는 것을 말한다.
혼합현실은 전형적인 가상현실 시스템에서 우리가 일상적으로 사용하는 스마트폰에 이르기까지 다양하게 구현되고 있다. 혼합현실은 가상과 실재의 구성 비율에 따라 크게 두 가지 유형으로 구별된다. 일찍이 1994년 밀그램과 키시노라는 학자는 가상과 실재 중 실재의 비중이 높은 경우를 증강현실(augmented reality, AR), 가상의 비율이 높은 경우를 증강가상(augmented virtuality, AV)이라 부르자고 제안한 바 있다.
전투기 조종사가 전면 유리에 투사되는 정보를 보면서 조종하는 경우가 증강현실의 고전적 사례라면, 카메라로 보이는 주위 환경 위에 지하철이나 커피숍 위치를 중첩시켜 보여주는 스마트폰의 증강현실 앱은 최근의 일상적 사례에 속한다. 출시를 앞두고 큰 주목을 받는 구글글라스는 녹화, SNS, SMS 등 다른 기능도 제공하지만 증강현실 기능이 제일 두드러진다.
이와 달리 증강가상은 컴퓨터 그래픽 등으로 꾸며진 가상 환경 속에 있는 비디오 창을 통해 실재 모습을 보여준다. 증강가상은 가상 비중이 높을 뿐만 아니라 가상과 실재가 병치된다는 점에서 가상과 실재를 중첩해 보여주는 증강현실과 차이가 있다.
가상과 실재를 하나의 공간 안에 매끄럽게 통합해 표상하고자 하는 혼합현실의 욕망은 오래된 것 같다. 프레스코와 같은 벽화는 이의 전형적인 사례지만, 이를 고도로 구현한 것은 19세기 유럽에서 큰 인기를 끈 파노라마 그림이었다. 360도 곡면 화면에 사실적으로 그림을 그려 보는 이로 하여금 가상공간에 실재한다는 느낌을 주고자 했다. 당시 유럽의 파노라마로 그려진 그림 소재는 역사적인 이벤트 장소이거나 이국적인 자연 풍광이었다.
관람객은 창이 씌여진 중앙 관람대에서 주위를 둘러보았는데, 여기서 중요한 점은 관람대와 파노라마 벽면 사이의 공간에 나무, 풀, 돌, 모레 등과 같은 물리적인 소재들을 배치해 가상의 파노라마 이미지와 실재가 말 그대로 매끄럽게 연결되도록 했다는 것이다. 이렇게 가상과 실재를 통합해 혼합현실을 만들어냈고 관람객은 이 공간에 머물며 새로운 현실을 가상적으로 경험했던 것이다.
1880년에 세워진 네덜란드 헤이그의 메스닥 파노라마는 현존하는 파노라마 극장 중 하나로, 지금도 관광객들에게 큰 인기를 끌고 있다. 파노라마 벽면 높이는 14m이고 그림 길이는 120m에 달하며, 19세기 말 스케브닝겐 지역의 바다, 해안, 마을을 스펙터클하게 보여준다.
전형적인 가상현실 장치나 컴퓨터 게임에서 보듯, 인간은 실재 공간을 떠나 가상공간 속으로 들어가고자 하는 욕망도 가지고 있지만, 물리적 공간 속에 가상 정보를 중첩시키거나 병치시켜 또 다른 현실을 만들어내고 또 그곳에서 새로운 경험을 추구하고자 하는 욕망도 가지고 있다. 구글글라스에서 보듯 이런 욕망은 가상현실과 달리 현실을 전제한다는 점에서, 그리고 물리적 현실을 접하는 우리의 다양한 감각을 견지하고자 한다는 점에서 보다 ‘현실적’이다.
웨어러블 컴퓨팅으로 대표되는 최근의 기술은 면면히 공명해 온 혼합현실 패러다임으로의 전환을 의미한다.
이재현 서울대 언론정보학과 교수
