<테마특강> 가상현실.모션캡처기술 응용

박찬종

◇84년 홍익대 전자계산학과 졸업

◇86년 한국과학기술원 전산학 석사

◇86∼89년 한국표준과학연구원 연구원

◇89∼97년 휴먼컴퓨터 개발이사

◇현재 한국전자통신연구원 컴퓨터소프트웨어기술연구소 가상현실연구센터 모션정보연구팀장, 한국과학기술원 전산학 박사과정, 한국게임학회 이사

　가상현실(VR : Virtual Reality)이란 컴퓨터를 이용해 구축한 사이버 공간(Virtual Environment 또는 Cyberspace)내 인간의 오감(시각·청각·촉각·미각·후각)을 통한 상호작용을 실현, 현실세계에서의 활동이나 또는 공간적·물리적 제약에 의해 직접 경험하지 못하는 상황을 간접 체험할 수 있는 정보활동의 새로운 패러다임이다.

　2차 세계대전 중 항공기 시뮬레이터에 관한 연구와 60년대 이반 서덜런드에 의해 시작된 컴퓨터 그래픽스 기술은 컴퓨터 하드웨어 및 인터페이스 장비의 급속한 발전에 힘입어 점차 VR기술로 발전했다. 현재 일부 분야에서는 현실세계에 근접한 가상환경을 구현하는 수준으로까지 발전했다.

　VR세계를 보다 구체화하기 위한 방법으로 우선 인간의 오감을 이용한 인간 중심의 사용자 인터페이스 기술이 핵심 요소 기술로 연구·개발되고 있다. 이중 시각 및 청각 인터페이스 기술은 현실 수준을 80% 이상 재현할 수 있는 정도다. 또한 오감을 이용한 인터페이스가 가상세계뿐 아니라 컴퓨터 자체와의 상호작용에도 직접 관련이 있기 때문에 사용자 인터페이스의 기반 기술로서도 인식되고 있다.

　VR기술은 실제 응용시스템의 범위 및 내용에 따라 다양하게 개발되고 있다. 때문에 현실적으로 매우 다양하고 복합적인 기술로 평가되고 있으나 이들이 현재의 멀티미디어 정보사회를 대체할 실감 정보사회의 근간 기술이라는 면에는 통일된 견해다. 또 초고속망 기반의 21세기 정보사회에서는 가상사회(Virtual Society)를 매개로 직장·문화·상거래 등 인간의 일상생활이 유지될 것이라는 측면에서 VR기술의 중요성이 있다. 이미 현 수준에서 VR기술이 적용된 멀티미디어 콘텐츠·게임·영화·각종 교육 및 훈련시스템은 각 분야에서 세계 상품시장을 석권하고 있다. 또 그 효과로 발생하는 부가가치는 기존 재래산업의 가치 창출을 훨씬 앞서고 있다.

　영화와 게임산업이 발전하고 3차원의 모델링과 렌더링, 애니메이션 기법들이 도입되기 시작하면서 보다 자연스러운 동작을 생성할 수 있는 기술에 관심이 집중되고 있다. 그 중에서 3차원 애니메이션은 기존의 2차원 애니메이션을 계승, 발전해 전통적인 키프레이밍 방법을 사용하기도 했다. 그러나 기존 방법은 다분히 아티스트의 주관적인 판단에 많이 좌우되고 사람들의 보다 자연스러운 동작을 표현하는 데에는 한계를 갖는다.

　최근엔 이러한 한계를 극복하기 위해 사람의 동작을 그대로 캡처, 수치화된 동작 데이터를 컴퓨터에 입력하고 이 동작 데이터를 이용해 캐릭터를 움직이게 하는 모션캡처 기술이 점차 도입되고 있다. 이 방법의 장점은 자연스러운 동작 데이터를 빠르고 사실감 있게 얻을 수 있다는 점이다.

　현재 상용화된 모션캡처 시스템은 대부분 인체에 마커나 센서를 붙인 다음 카메라로 잡은 마커 영상이나 센서로부터 나온 데이터를 분석해 인체 각 관절들의 위치와 방향 등을 측정한다. 여기에 사용된 마커나 센서의 작동방식에 따라 네가지 정도로 나눌 수 있으며 각각을 초음파(Acoustic), 보철(Prosthetics), 자기(Magnetic), 광학(Optical)방식이라 한다. 이 중에서 현재 자기방식과 광학방식을 이용한 장비들이 가장 널리 사용되고 있다.

　초음파방식은 다수의 초음파를 발생하는 센서와 3개의 초음파 수신부(Receiver)로 구성된다. 연기자의 각 관절에 부착된 초음파 센서들은 순차적으로 초음파를 발생하고, 그 초음파가 수신장치에 수신되기까지 걸린 시간을 이용해서 센서에서 수신부까지의 거리를 계산한다. 각 센서들의 3차원 공간상 위치는 3개의 수신부에서 각각 계산된 값을 이용한 삼각 측량원리에 의해 구할 수 있다. 이 방식의 문제점은 첫째, 샘플링 빈도(Sampling Rate)가 높지 않고 또 동시에 사용할 수 있는 초음파 발생장치수가 많지 않다는 점이다. 둘째, 센서가 커서 연기자의 동작이 부자연스러워질 수 있고 셋째, 음향장치의 특성상 초음파의 반사에 의한 영향을 많이 받는다는 점이다. 그러나 이 방식은 이러한 문제점들에 비해 환경의 간섭 등을 별로 받지 않고 위치측정에 필요한 계산량이 적어 실시간 처리가 가능하며 값이 싸다는 게 장점이다.

　보철방식 모션캡처 시스템은 연기자의 관절 움직임을 측정하기 위한 전위차계(Potentiometer)와 슬라이더(Slider)로 이루어진 복합체로 구성되어 있다. 이 시스템은 수신장치를 갖지 않기 때문에 다른 환경의 간섭이나 영향을 전혀 받지 않는 절대적인 측정장치다. 따라서 초기 세트업 과정(Calibration)이 거의 필요 없으며 고가의 스튜디오 환경설비도 필요 없다. 또한 이 장치는 다른 장치에 비해 저가이고 매우 높은 샘플링 빈도로 모션 데이터를 획득할 수 있다는 장점이 있다. 그러나 보철방식을 이용한 시스템은 부담스러운 기계장치를 연기자의 몸에 부착해야 하므로 동작이 부자연스러워질 수 있고, 보철장치가 연기자의 각 관절에 얼마나 정확하게 위치했는지에 따라 정확도가 달라진다는 단점이 있다. 일반적으로 보철방식 시스템은 기존의 애니메이션 제작기술인 키프레임방식 및 동작제어방식과 함께 사용돼 키프레임이나 스텝동작의 생성에 이용된다.

　자기식 시스템은 연기자의 각 관절 부위에 자기장을 계측할 수 있는 센서를 부착하고 자기장 발생장치 근처에서 연기자가 움직일 때 각 센서에서 측정되는 자기장의 변화를 다시 공간적인 변화량으로 계산, 움직임을 측정하는 방식이다. 각 센서와 자기장 발생장치 및 본체는 케이블로 연결되어 있는데 최근에는 무선으로 이루어진 시스템도 선을 보이고 있다.

　자기식 시스템의 장점은 비교적 저렴하며 가격대 성능비가 우수하고 실시간 처리가 가능하다는 점이다. 그러나 유선방식의 센서인 경우, 센서로부터 연결된 케이블들로 인해 연기자의 동작에 제한을 주고, 이것으로 인해 복잡하고 빠른 움직임을 자연스럽게 표현하는 것을 어렵게 한다. 이런 단점을 보완하기 위해 케이블을 무선송신기에 연결한 무선 시스템이 이미 개발·판매되고 있지만, 역시 연기자의 신체에 커다란 송신기를 부착해야 한다. 또한 자기장 영역 안에서만 가능하므로 동작반경이 제한되는 단점을 갖는다. 따라서 자기방식은 1∼3m의 반경내에서 실시간으로 움직이는 동작을 캡처하는 데 적당하다고 할 수 있다.

　광학방식 시스템은 연기자의 주요 분절 부분에 적외선을 반사하는 반사 마커(Reflective Marker)들을 부착하고 3∼16대의 적외선 필터가 부착된 카메라를 이용해 반사되는 마커들의 2차원 좌표를 생성한다. 여러대의 카메라로 캡처한 2차원 좌표는 전용 프로그램으로 분석되어 3차원 공간상 좌표로 계산, 애니메이션에 활용한다. 광학식 시스템의 장점 중 하나는 높은 샘플링 빈도를 들 수 있는데 스포츠 선수의 동작과 같이 매우 빠른 움직임을 캡처할 때 유용하다. 또한 연기자에 부착되는 마커의 크기가 작고 가벼워서 연기자가 자유롭게 동작을 표현할 수 있으며, 200개 이상의 마커를 처리할 수 있어 다수 연기자의 동작을 동시에 캡처할 수도 있다.

　또 다른 시스템에 비해 넓은 공간(5×5×2.5m)에서 캡처가 가능하며 캡처 정밀도면에서도 다른 제품에 비해 높다. 그러나 광학식 시스템의 단점은 마커가 다른 물체에 의해 가려질 때 마커의 궤적을 잠시 잃어버리게 된다는 점이다. 이런 문제로 인해 모션 데이터를 후처리하는 과정이 필요하며 이것은 실시간 모션캡처를 어렵게 하는 커다란 장애요인이기도 하다. 또한 이 방식은 다른 방식에 비해 매우 고가인 점도 하나의 단점이다.

　국내에서 모션캡처에 관한 연구를 수행하고 있는 대학은 숭실대·과학기술원·청강문화 산업대학 등이다. 이들 대학은 주로 모션캡처 시스템 및 후처리 소프트웨어에 관심을 가지고 되도록 손쉽게 모션캡처를 하고 애니메이션까지 활용하는 데 필요한 시스템 개발에 초점을 맞추고 있다. 국가기관 및 연구소로는 한국소프트웨어진흥원·ETRI(VR연구개발센터)·게임종합지원센터 등이며 주로 고가의 장비를 업체가 공동으로 이용할 수 있는 체제를 갖추고 있어 일반 회사에서 활용하는 데 유용하다. 특히 ETRI는 자체 연구인력을 이용해 관련연구를 수행하고 있기 때문에 모션캡처에 필요한 기술적 지원을 받을 수도 있다. 이미 KSM과 공동으로 미국 게임회사에서 필요한 모션캡처 데이터 후처리 작업을 수행한 경험이 있어 세계적인 모션캡처 스튜디오로 평가받고 있다. 국내에서 모션캡처를 수행할 수 있는 산업체로는 KSM, 이오리스, 디지털오디세이, 오콘 등이다. 자체적으로 시스템을 구축하고 있는 회사들도 있으나 최근의 광학식 장비들이 워낙 고가이다 보니 국가기관에 있는 장비를 이용하는 경우가 대부분이다.

　현재 모션캡처 기술이 활용되는 분야로는 영화·게임·방송용 애니메이션을 들 수 있다. 특히 방송용 애니메이션에서 두각을 보이고 있는 「팡팡」(KBS), 「꽁실이」(MBC), 「룰루라라」(SBS) 등이 모션캡처 기술의 효율성을 확실하게 보여주고 있다. 최근에는 컴퓨터 게임을 개발하는 데 3차원 애니메이션이 많이 필요하게 됨에 따라 모션캡처를 필요로 하는 게임회사가 증가하고 있다. 이에 따라 게임종합지원센터에서도 모션캡처 시스템을 도입하여 근거리에서 관련 회사들을 지원하고 있다.

　최근의 애니메이션 경향을 살펴볼 때 보다 사실적인 3차원 캐릭터(아바타)가 현실감 있는 동작을 보이기 위해서는 모션캡처 기술이 필수적이다. 결론적으로 모션캡처 기술을 이용함으로써 3차원 캐릭터 애니메이션을 위한 VR기술이 한단계 진보할 수 있다는 것이다. 향후 모션캡처 기술은 마커나 센서를 부착하거나 사용자의 활동에 제약을 주는 등의 불편함이 없이 자연스럽게 사람의 몸동작을 인식하기 위해 마커나 센서를 부착하지 않는 컴퓨터 비전 기반의 모션캡처 기술로 발전할 것으로 예상된다. 선진국에서는 이 분야에 많은 연구를 수행하고 있어 우리도 이에 대한 대비가 필요한 시점이 되지 않았나 생각한다.