[테마특강] 대화형 멀티미디어 서비스를 위한 「MPEG-4 기술」

安致得

80년 서울대 공대 전자공학과 학사

82년 서울대 대학원 전자공학과 석사

91년 미국 플로리다대 대학원 전기공학과 박사

82년 12월∼현재 한국전자통신연구원 책임연구원(영상통신연구실장)

96년 7월 한국MPEG 의장

97년 5월 SC29-Korea 의장

다가올 정보사회에는 디지털 멀티미디어 서비스가 정보통신망을 통해 유기적으로 결합, 우리의 일상생활에 이용될 것이다. 각기 다른 영역으로 나뉘어 있는 통신, 방송, 컴퓨터간 경계가 허물어지고 서로 융합돼 복합적이고 다양한 서비스들이 등장할 전망이다. 컴퓨터에는 동영상 및 통신 기능이 추가되고 방송은 통신망이나 컴퓨터망을 통해 양방향성을 지향하게 되며 또 무선 멀티미디어 서비스에 대한 수요는 날로 증가할 것으로 예상된다. 정보사회에는 원하는 정보를 언제 어디서 누구와도 주고받을 수 있어야 한다. 또 사용자가 다루기 편한 형태로 모든 정보를 쉽게 가공할 수 있어야 한다. 따라서 정보사회의 실현을 위한 멀티미디어 서비스는 기본적으로 통신, 방송, 컴퓨터망에서 양방향성 또는 사용자와 대화성(Interactivity)이 강조되는 형태를 띨 수밖에 없다.

이러한 요구를 만족시키기 위해선 지금까지의 영상신호 압축기술 이외에 새로운 방향의 영상기술이 필요할 수밖에 없다.

현재 동영상기술의 국제표준화를 위한 MPEG(Moving Picture Experts Group:동영상전문가 그룹)에서는 MPEG1, MPEG2의 성공에 힘입어 전통적인 통신/방송/컴퓨터 응용분야에 공통적으로 적용될 수 있는 영상기술을 개발하고 있다. 최근 저가의 고기능화한 디지털 기기들의 활용 제고와 멀티미디어 데이터베이스 응용분야의 급속한 신장, 컴퓨터에 의한 합성AV(Synthesized Audio Visual)프로그램의 증가 등으로 기존 영상기술의 핵심기능인 압축부호화 기능뿐 아니라 고도의 새로운 기능들(물체분할, 내용인식, 3차원 편집)을 지원할 수 있도록 해주는 다양한 틀과 개방형 도구들을 지원할 필요성이 대두됐다. 특히 디지털 통신기술의 발전에 따라 이러한 개방형 도구들은 통신망을 통해 송신측으로부터 수신기로 직접 전달될 수 있게(Downloadable)됐다.

MPEG1이나 MPEG2와 같은 지금까지의 영상압축기술은 영상에 담긴 내용과는 무관하게 압축하는 방식이다. 그러나 영상물에 담긴 내용에 대한 이해와 구별 없이 화소값을 직접 처리하는 방법은 기능상 많은 제약이 따르며 미래의 통신, 방송, 영화, 영상오락물 등이 요구하게 될 다양한 기능수요에 적합하지 못하다. 이처럼 다양한 기능수요를 충족시키기 위한 MPEG4기술은 영상의 내용에 대한 이해를 바탕으로 부호화하는 『내용기반 부호화(Content-Based Coding)』에 초점이 맞추어져 있다.

내용기반의 영상부호화 기술은 이동통신 등의 초저속 전송에서부터 초고속 전송에 이르는 다양한 영상 응용분야에 개방적이며 융통성 있게 대응할 수 있다는 장점이 있다. 디지털 영상서비스는 VTR/VCR(Video Tape Recorder/Video Cassette Recorder), 캠코더, 비디오CD 등의 저장 및 분배로부터 시작되어 대화형CD(CDI), 비디오게임 등 CD롬을 매체로 한 제한된 대화형 서비스로 발전됐다. 최근 디지털 영상정보의 저장 및 분배 매체로서 MPEG2를 이용하여 약 2시간 정도의 영화를 압축, 저장할 수 있는 DVD(Digital Video Disc)와 고선명TV를 포함한 디지털TV 서비스가 각광받고 있다.

또 과거의 통신, 방송, 컴퓨터 분야에서 상호 독립적인 서비스외에 여러 전달매체들이 복합적으로 결합된 VOD(Video on Demand), VDT(Video Dial Tone), 홈쇼핑, 대화형TV 등도 나타나기 시작했다. 특히 인터넷을 통한 웹서비스는 향후 정보사회에서 통신, 방송, 컴퓨터 서비스가 어떤 모습으로 우리에게 다가올 것인지를 짐작케 해준다. 이밖에 카메라를 통하거나 또는 미리 기록된 자료들을 편집해 비디오 정보를 만들어내는 응용으로는 재생전용(Playback-Only) 영화, 전자출판 및 광고 등의 영상 자료생성, 영상 전자우편 등이 있으며 영상전화나 영상회의 같은 대화형 통신이용, 그리고 원거리 영상감시 등이 있다.

MPEG4의 적용 대상분야는 이들 서비스외에 멀티미디어 방송, 멀티미디어 교육 및 게임, 실감(Virtual Reality:VR)통신 등을 포함한다. 다만 MPEG4에 의한 영상서비스가 기존과 다른 점은 영상내용을 이해하여 객체(Object)별로 처리할 수 있다는 점이다. 이는 부호화한 영상을 완전히 복원하지 않더라도 객체별로 변형시키거나 또는 주어진 객체를 시공간축상에서 자유자재로 배치할 수 있게 된다. 즉 MPEG4에 의해 영상 내용물에 대한 상호작용성(Interactivity)이 보장되는 것이다. 이러한 기능을 제공하기 위해 MPEG4는 크게 「내용기반의 대화형 기능(Content­based Interactivity)」 「초고압축 기능」 「광범위한 접속기능(Universal Access)」 등 3가지 방향을 추구하고 있다. MPEG4기술은 영상의 내용을 이해해 부호화하고자 하는 노력과 초고압축률의 실현, 다양한 편집기능 및 등급 부호화 등이 주된 내용이 된다. 또 부호화에 사용되는 도구들을 기술(Tool Description)하는 기능, 이들을 조합하여 특정 응용분야의 묶음으로 지정할 수 있는 기능(Profiling), 여러가지 프로그램 가능형의 단계를 지원할 수 있는 통신기능(Scaleable Transmission), 부/복호화 도구를 다운로드할 수 있는 기능, 압축 비트열을 객체단위로 기술(Object Description)하는 기능, 객체간, 시공간상에서 동기화하는 기능, 사용자의 객체에 대한 대화형 처리방법 등이 동시에 제공된다.

MPEG4는 영상 데이터의 내용을 이해해 특성이 다른 부분을 분할한 후 분할된 각 영상에 대해 적합한 부호화 기법을 적용하거나 또는 영상의 특징을 추출, 압축하는 지능형 부호화 방식이다. 지능형 객체기반 부호기는 우선 입력 영상으로부터 의미있는 객체들을 분할하고 이들 객체를 분석해 움직임, 윤곽, 색 변수 등의 정보를 압축 부호화하여 전송채널로 출력한다. 컴퓨터 그래픽 등으로 합성된 영상의 경우 물체에 대한 모델을 바탕으로 부호기가 그 모델의 파라미터만을 부호화해 전송하며 수신기는 전송받은 파라미터를 부호기에서 사용한 것과 동일한 모델에 적용함으로써 물체를 복원할 수 있다. 영상의 내용에 해당하는 객체를 「내용물 객체(Content Object)」, 이 내용물 객체에 다양하게 작용해 각종 처리를 담당하는 프로그램을 「처리객체(Process Object)」라고 각각 부른다.

기존 영상부호화는 일단 스튜디오에서 제작된 영상물을 전체적으로 압축, 전송하고 수신기에서는 이를 단순 복원해 디스플레이할 수밖에 없다. 그러나 이제는 영상물 제작단계에서 이미 분리되어 있는 객체들을 별도로 압축 부호화해 전송하고 수신기에서는 각 객체들을 별도로 복원한 후 사용자 의도에 따라 다양한 형태의 디스플레이가 가능하다. 따라서 수신자는 영상물을 단순히 TV시청하듯 수동적으로 대하는 것이 아니라 수신되는 영상물의 내용을 자신의 기호에 맞게 편집할 수 있다. 이러한 기능은 게임이나 교육 등 여러가지 멀티미디어 응용 서비스 개발에 아주 적합한 환경을 제공하게 된다. 특히 자연계의 영상과 컴퓨터로 합성된 영상을 특수효과로 혼합하는 경우 매우 유용하다.

각 객체들을 부호화하는 방식은 특성에 따라 여러가지 복합적으로 사용할 수 있어 부호기로부터 복호기로 다양한 알고리듬이 전달될 수 있도록(Downloadable)하는 것이 필요하다. 복호기는 기본적인 복호화 도구만 내장하고 복호화용 알고리듬은 부호기로부터 통신망을 통해 전송받을 수 있다. 부호기는 부호화한 압축 비트열을 전송하기 전에 이를 복호화하는데 필요한 알고리듬을 약속된 언어규칙에 따라 표현, 먼저 복호기측으로 전송한다. 복호기는 이를 해석, 알고리듬을 이해한 후 전송받은 비트열을 해석된 알고리듬에 따라 복호화한다. 부호기측에서 수신기측으로 전송되는 것은 「내용물 객체」 「화면 구성방법(Composition Action)」 「신택스 정의」 「처리 객체들」 등이다. 이 가운데 내용물 객체와 화면 구성방법은 궁극적으로 복호화하는 영상물의 형태에 대한 것이다. 신택스 정의 및 처리 객체들은 이들을 수신기가 이해하고 순서에 맞게 처리할 수 있도록해 주는 지침으로 경우에 따라서는 처리 객체도 부호기로부터 수신기측으로 다운로드될 수 있다. MPEG4가 이러한 기능을 구현하기 위해 개방적이며 융통성있는 언어로 자바나 3차원 컴퓨터 그래픽을 위한 VRML(Virtual Reality Make-up Language) 등을 확장하여 사용한다.

MPEG4기술은 프로그램 제작자(Program Author), 망서비스 제공자(Network Service Provider), 서비스 사용자(Service User) 모두 만족하게 된다. 우선 프로그램 제작자에게는 재사용이 가능하며 복제 방지된 AV콘텐트(Audio Visual Content)를 제작할 수 있는 수단을 값싸게 제공, 더 많은 사람들이 용이하게 프로그램 제작에 참여할 수 있는 기회를 만들어 준다. 망을 이용한 서비스 제공자에게는 개별 미디어가 요구하는 서비스의 질을 만족시킬 수 있는 전달수단을 제공, 미디어별 최적의 서비스를 가능케 한다. 서비스 사용자에게는 특별한 포맷이나 플레이어에 구애없이 프로그램 제작자가 제공하는 범위안에서 AV콘텐트를 자신의 의사에 따라 취급하고 사용할 수 있는 수단을 제공한다.

궁극적으로는 프로그램 가능형 단말기가 실현됨으로써 수신기는 송신측이 원하는 부호화 방식을 융통성있게 선정할 수 있게 된다. 지금까지 송신자(프로그램 제공자)가 만들어 공급하는 영상을 수신자(영상물의 소비자)들이 수동적으로 받아들이는 형태였지만 앞으로는 수신자가 영상물을 직접 편집, 저작, 변형할 수 있는 환경으로 바뀌는 것이다. 또 영상물의 내용을 이해하고 구분, 처리할 수 있는 기능이 강화됨으로써 보다 지능화된 멀티미디어 서비스 제공이 가능해질 것이다. 디지털 영상기술의 발전에 발맞추어 멀티미디어 서비스의 다양화, 지능화, 개인화 등이 더욱 활발히 촉진되고 초저속 전송률에서도 고화질의 영상서비스를 제공해 휴대형 단말기를 이용한 본격적인 멀티미디어 이동통신이 가능하게 되는 것이다.

현재 MPEG에서는 MPEG4기술에 대한 국제표준화를 추진하고 있다. 우선 1차로 오는 98년까지 2차원 오디오 및 비주얼 객체 부호화에 대한 표준을 완성하고 이후 추가적인 기술개발을 통해 3차원 오디오 및 비주얼 객체에 대한 표준화를 만들 계획이다. 우리나라는 과거 MPEG1과 MPEG2 국제표준화에서 외국에서 개발된 기술을 단순히 따라가는 입장이었으나 MPEG4 표준화와 관련해서는 한국전자통신연구원을 비롯 산업체 및 학계가 선진국과 대등한 입장에서 개발한 기술을 표준안에 반영하게 된다. 하지만 국내에서의 MPEG4 기술개발은 각 참여기관의 이해에 따라 특정 분야에 치우치는 감이 없지 않다. 좀더 거시적인 차원에서 기술개발에 대한 공감대가 형성되고 여러 응용분야에서 동시에 사용될 수 있는 영상기술(서비스 규격, ASIC칩, 응용 시스템 등)이 모듈화한 구조로 개발돼야 한다. 과거와 달리 국제표준화에의 적극적인 기여는 경쟁력 있는 기술개발의 첩경이 됨을 명심하고 국내 관련 연구기관들의 내실화가 보다 요구된다.