<테마특강> 디지털 입체 영상 기술

권용무 한국과학기술원 영상미디어연구센터 책임연구원

　입체 영상기술에 대한 연구개발은 지난 80년대 후반부터 일본·유럽·미국을 중심으로 활발히 진행되어 왔다. 일본은 입체 영상표시기술에 대한 연구 작업의 하나로 무안경 방식 입체 표시기술 연구를 수행해 왔다. 일본은 또 자연스러운 입체 동영상 표시 및 통신 수단 개발을 목표로 지난 92년 TAO(Telecommunication Advancement Organization)를 설립, 5년간 관련 연구를 하기도 했다.

　유럽의 경우 MPEG2 및 안경식 입체 영상표시기술을 바탕으로 한 디지털 입체 영상기술 개발로 RACE Ⅱ DISTIMA(DIgital STereoscopic IMaging and Applications) 및 COST 230(Stereoscopic Television)프로젝트를 수행했다. 또 지난 95년부터 98년까지는 무안경식 다시점(Multi-Viewpoint)입체 영상기술 개발을 목표로 ACTS PANORAMA(PAckage for New OpeRational Autostereoscopic Multiview systems and Applications) 등을 수행하고 있다.

　최근에는 MPEG4 표준화와 관련, 디지털 영상기술과 컴퓨터 그래픽스 기술이 결합된 새로운 방향으로 진전이 급속히 이루어지고 있다. 그 중 SNHC(Synthetic/Natural Hybrid Coding) 스테레오 및 다시점 영상 시퀀스 부호화에 대한 영역을 MPEG4에서 다루기 시작했다.

　향후 표준TV 개념은 스테레오, 다시점 및 3차원 영상을 지원하는 미래 영상 통신시스템으로 확장될 것으로 예상된다. 이 개념은 관찰자가 현장에 존재하는 것과 같은 「텔레프레즌스(Telepresence)」 느낌을 지원하는 방향으로 연구가 진행됨을 의미한다. 텔레프레즌스는 시각정보의 입력 및 인식기술, 정보 전송기술 및 3차원 표시기술 등 다양한 기술이 요구된다. 시각정보 입력기술 측면으로는 인간의 시선(Gaze Direction) 및 주시하는 대상 등을 인식하는 기술이, 표시 측면에서는 인간의 시점에 대응한 자연스러운 영상의 표시기술이 각각 요구된다. 또 전송 측면에서는 기존 MPEG2 및 객체 단위 부호화를 목표로 하는 MPEG4 기술의 구체화가 요구된다.

　텔레프레즌스를 느끼게 하기 위해서는 가상현실 기술을 사용하는 등 실제 3차원 공간과 같은 가상 환경을 제공하는 기술이 요구된다.

　입체 영상은 다수의 카메라를 평행광축 또는 수렴광축 상태로 설치한 후 얻게 된다. 수렴광축의 경우 카메라간 위치 관계를 얻기 위해 카메라 캘러브레이션을 통해 기준 좌표에 대한 이동(Translation) 및 회전(Rotation) 정보를 구한다. 이 정보는 입력된 영상들로부터 대상 물체의 깊이 정보를 구하기 위해 요구되는 대응점 정합시 에피폴러(Epipolar)구속 조건에 만족하는 영상을 만들기 위한 영상 보정(Rectification) 과정에 사용된다. 카메라간 관계를 아는 경우 입력된 입체 영상을 분석함으로써 대상 오브젝트의 각 점에 대한 거리 정보를 얻을 수 있다. 또 오브젝트의 형태 정보를 구할 수 있다. 이 정보는 입체 영상합성, 영상기반 모델링 및 입체 영상표시기술에 중요한 역할을 하게 된다.

　영상 분석시 고려할 점은 대응점 탐색, 폐색(Occlusion) 영역, 바운더리 오버리치(Boundary Overreach) 문제 등을 고려해야 한다. 카메라 두 대를 사용하는 스테레오 기법은 깊이 정보의 정확성 및 폐색 영역 발생 문제 등으로 인해 요즘 잘 사용하지 않고 있다. 대신 여러 대의 카메라를 사용하는 방식이 발표됐다. 그 대표적인 방법으로는 EPI(Epipolar Plane Image)기반 방식 및 다기선 스테레오(MBS : Multiple-Baseline Stereo) 기법 등이 있다.

　동영상 처리에 필요한 또 하나의 중요한 정보가 모션 정보이다. 즉 각 프레임간 화소 또는 오브젝트 단위의 모션 정보를 이용하는 만큼 디스패러티 정보 추출의 정확성을 향상시킨다. 입체 동영상 통신시 디스패러티 및 모션 정보를 사용해 입체 영상 신호를 압축시켜 전송 데이터량을 줄일 수도 있다.

　지금까지 입체 영상기술은 2차원 화면상에 인간의 양안 시차를 이용하는 방법을 사용했다. 그러나 이 기법은 두 대의 카메라만을 사용, 언제나 동일 시점의 영상만을 표시하는 만큼 관찰자가 시점을 달리해도 역시 동일한 영상이 표시되는 문제점이 있다.

　즉 기존 스테레오 카메라에 의존하는 시스템은 관찰자로 하여금 어느 정도의 입체감을 느낄 수 있도록 하지만, 사람이 실제 어떤 사물을 볼 때와 같은 생동감·현실감을 주지는 못한다. 이같은 점을 개선하기 위해서는 관찰자의 위치 및 시선 방향에 따라 그에 대응되는 입체 영상을 표시하는 다시점 입체 영상기술을 필요로 한다. 다시 말해 관찰자가 좌우·상하·전후로 이동하며 시선을 바꾸는 경우, 이에 대응되는 영상을 표시해 실제로 3차원 공간상의 오브젝트를 보는 것과 같은 효과를 낼 수 있다.

　다시점 입체 영상기술은 디스플레이할 대상물 주위에 한계없이 카메라를 설치, 각 위치에서 영상을 획득·저장하고, 디스플레이 단에서는 관찰자의 위치를 추적해 그 위치에 해당하는 영상을 표시함으로써 구현될 수 있다.

　그러나 이 방식은 현실적으로 어려운 만큼 실제 시스템은 미리 정해진 위치에 카메라를 설치, 영상을 얻는다. 카메라를 설치하지 않은 위치에 해당하는 영상들은 실제 카메라에서 얻은 영상들로부터 보간법에 의해 합성된다. 이 기법은 시선 추적기술과 함께 사용함으로써 양안 시차(Binocular Parallax)뿐만 아니라 운동 시차(Motion Parallax)까지 갖는 보다 자연스러운 입체 영상을 제공하게 된다. 다시점 입체 영상기술은 현재 일본·유럽·미국 등에서 연구 시작단계에 있는 기술이다.

　가상환경 생성기술은 최근 첨단 그래픽 처리 시스템을 기반으로 주목을 받고 있다. 이 기술은 향후 2000년대에도 여러 가지 응용분야에서 매우 중요한 위치를 차지하게 될 것으로 예상된다. 종래의 가상환경 생성기술은 주로 그래픽 기술에 기반을 두었으며 사용자가 CAD 환경을 사용해 직접 설계·제작했다.

　최근 그래픽 처리기술이 눈부시게 발전했으나 실제 상황과 같은 자연스러움을 제공하지는 못하고 있다. 이같은 그래픽 기술의 한계성을 극복하기 위한 노력으로 실제 영상을 사용, 가상환경의 현실감을 증대시키려는 노력이 이루어지고 있다. 종래의 컴퓨터 그래픽 기술과 컴퓨터 비전 기술은 서로 다른 방향으로부터 유사한 문제를 풀고자 노력하고 있으며 최근 이 두 분야의 기술이 자연스럽게 결합되고 있다. 이는 이 분야의 연구 추세를 단적으로 나타내주는 하나의 예라고도 할 수 있다.

　이같은 추세에 따라 주목되고 있는 영상기반 모델링(Image Based Modeling)기술 구현은 입력 영상으로부터 조밀하고(Dense) 정확한 깊이 정보를 얻는 것이 중요하다. 또 텍스처를 올바르게 모델에 적용하는 문제를 고려해야 한다. 이와 함께 입력 영상으로부터 관심의 대상인 오브젝트를 배경과 분리해 내는 기술이 요구된다. 배경과 오브젝트가 어느 정도 거리를 두고 떨어져 있는 조건이라면 깊이 맵 히스토그램 방식을 이용해 배경과 오브젝트를 분리해 낼 수 있다. 오브젝트 영역을 구하게 되면 깊이 정보를 이용, 일정한 간격으로 정점(Vertex)을 선택하고 선택된 각 정점을 연결해 삼각형을 만든 후 그 삼각형으로 오브젝트의 표면을 표현하고 최적화 작업을 거쳐 3차원 모델을 구하게 된다.

　최종적으로 입력 영상 중 깊이 정보와 동일한 위치인 영상을 사용해 텍스처 매핑을 한다. 이 기법은 정지된 오브젝트뿐만 아니라 움직이는 오브젝트에도 적용할 수 있다. 이 경우 고속 신호처리기를 사용한 실시간 깊이 정보 추출기가 요구된다.

　고선명(HD)TV 이후 차세대 디스플레이로 입체TV에 대한 연구가 활발하다. 입체 영상을 표시하는 방식은 특수 안경을 사용하거나 사용하지 않는 방식, 홀로그래피 방식 등 3가지이다. 앞의 두 방식은 인간의 좌안 및 우안에 보이는 영상이 다를 경우 입체감을 느끼는 양안 시차 원리를 이용하는 방식으로 기존 2차원 영상 표시기술을 그대로 이용할 수 있는 장점이 있다.

　

홀로그래피 기술을 이용한 입체 영상기술은 앞의 두 방법과는 달리 광학적으로 물체의 3차원적인 파형을 3차원 공간에 재생시켜 입체상을 실현한다. 이 때문에 관찰자의 관찰방향에 관계없이 입체감을 느낄 수 있어 가장 이상적인 입체 표시 방식으로 생각될 수 있다. 그러나 홀로그래피 방식은 실용화하기에 아직 기술적으로 해결해야 할 문제들이 많다.

　일본은 무안경식 입체 영상 표시기에 대한 연구개발을 추진해 NHK 기술연구소·산요전기(Sanyo Electric)·토판 프린팅(Toppan Printing)사가 공동으로 40인치·70인치급 렌티쿨라 입체 영상 표시기를 개발, 시판하기도 했다. 특히 일본은 렌티쿨라 방식을 가전 표준으로 정하기도 했다. 유럽도 무안경식에 대한 개발 연구를 활발히 수행하고 있다. 국내는 96년 KIST에서 10.4인치형 렌티쿨라 표시시스템을 개발했다.

　디지털 입체 영상기술의 주요 응용 분야는 방송 및 영화 산업, 광고, 건축, 항공 분야의 시뮬레이션, 원격 진료·수술 등의 의료기기 분야, 원격 조종, 기계설계, 가상 오케스트라 단원을 배경으로 하는 노래방, 게임산업 등 그 응용 분야가 매우 크다고 할 수 있다. 방송의 경우 움직이는 실제 오브젝트와 가상 배경과의 영상 합성이 디지털 비디오 프로덕션이나 가상 현실 기법 등의 분야에 필요한 연구 중 하나이다.

　일반적으로 크로마 키(Chroma Key) 방법이 방송 분야에 널리 사용돼 왔다. 그러나 이 방법은 실제 오브젝트가 합성되는 배경보다 항상 앞에 나온다는 가정을 포함하며 깊이 정보를 이용할 수가 없다. 영상 분석을 통해 구해지는 깊이 맵을 사용하는 지 키(Z Key) 방법은 픽셀 대 픽셀 단위로 실제 오브젝트와 배경의 깊이 정보를 이용함으로써 오브젝트와 배경간 전후 관계를 자연스럽게 합성할 수 있다.

　영상 통신의 경우 MPEG4에서는 모델기반 부호화 기법의 연구가 진행되고 있다. 모델의 추출을 위해서는 스테레오 영상을 이용한 디스패러티 추출, 객체 단위의 압축, 부호화 기법이 요구된다. 특히 수신기 입장에서는 수신된 정보를 사용하여 관찰자의 시선에 대응되는 영상을 합성하고 이를 입체로 표시해주는 기법에 적용될 수 있다. 또 2000년대 단말기에는 모델기반 영상 통신이 적용될 것이며 특히 스테레오 기법을 이용한 모델 추출·압축·부호화·뷰(View) 합성기술이 핵심기술로 요구될 것이다.

　시점 적응형 무안경식 입체 영상 시스템은 시점 추적 기능을 통해 관찰자의 시점에 대응되는 영상을 합성, 입체로 표시해 주는 기능을 갖는다.

　이같은 시스템이 개발되면 2002년 월드컵 축구경기의 입체 영상 중계, 원하는 시점에서 바라보는 새로운 뷰 합성, 특정 선수에 대한 뷰 표시 및 슈팅 장면의 입체 분석 표시 등 다양한 응용이 가능할 것으로 예상된다.