<테마특강>영상정보검색 기술현황과 활용방안-유성준-

유성준 서치캐스트 기술 연구소장

미국 시러큐스대 전산학 박사

ETRI 통신계획연구부 연구원

ETRI 인공지능 연구실 연구원

미국 시러큐스대 CASE센터 리서치 어시스턴트

ETRI 시각정보처리기술연구실 프로젝트 매니저, 책임 연구원

ETRI 지식정보 검색팀장

현 서치캐스트 기술 연구소장

★영상정보검색이란 비디오 테이프나 필름 저장소 등 아날로그 저장소와 디지털화된 영상데이터 저장소와 같은 데이터베이스에서 영상 자료나 관련된 정보를 찾는 것을 의미한다.

오프라인 세계에서 영상정보를 찾기 위한 방법으로는 크게 두 가지가 있다. 자료가 있는 곳을 일상적인 말(텍스트)로 물어보거나 찾고자 하는 사진과 비슷한 사진으로 관련 자료를 찾는 방법이다. 물론 이 두 가지 방법은 독립적이기보다는 상호 보완적으로 사용된다. 또 컴퓨터에서 영상정보를 찾을 때에도 같은 방법이 사용된다. 즉 텍스트기반 정보검색 기술과 내용기반 영상정보검색 기술을 이용하는 것이다.

◇영상정보검색이란?

내용기반 영상정보검색이라는 용어는 「content based visual information(또는 image) retrieval」이라는 용어를 한국어로 그대로 번역하면서 생겨난 용어인데 자칫 텍스트 분야에서 사용하는 의미기반 정보검색과 혼동될 수 있다. 두 용어 모두 각 미디어(사진, 비디오, 텍스트)에 담겨 있는 내용과 사용자 질의 내용일치, 또는 유사한 답을 검색해 주는 것을 뜻한다. 그러나 의미기반 정보검색이란 텍스트에 기반을 둔 정보검색을 뜻하고 내용기반 정보검색이란 텍스트가 아닌 각 미디어의 특성에 기반을 둔 정보검색을 뜻한다.

멀티미디어 정보검색은 기존의 일반정보검색보다 객체의 속성에 대한 문제가 지원돼야 한다. 예를 들어 선인장이 들어있는 장면을 찾는 요구가 있다고 가정하자. 그리고 모든 선인장을 찾는 것이 아니라 빨간 선인장을 찾는다고 하자. 이런 경우 현재의 검색 기술은 「선인장」으로 찾은 검색결과 중 빨간 선인장에 해당하는 결과를 골라내는 정도에 그치고 있다. 만약 한단계 더 나아가 「빨간」이라는 단어도 처리하는 검색엔진을 이용한다면 검색결과는 훨씬 정확해서 부적합한 검색결과의 양이 줄어들게 되므로 사용자는 원하던 정보를 얻기가 더욱 쉬워진다.

그러나 여기에서 다음과 같은 문제가 발생하면 안 된다. 「빨간 선인장」에 관한 정보를 검색할 때, 「빨간 화분에 담겨 있는 선인장을 보면서…」와 같은 문장이 든 문서가 「선인장이 빨갛다」 「빨간 빛깔의 선인장」 「선인장이 빨갛게 보인다」 등이 있는 문서보다 먼저 올라오는 경우다. 이는 「빨간」이 가지는 형용사의 개념을 이해하지 못하고 독립된 명사로 처리를 했기 때문에 생기는 문제다. 그러나 「빨간」은 활용이 가능한 형용사이므로 단어의 형태가 변한다고 해도 「빨갛다」라는 속성은 변함이 없으므로 「빨간 선인장」과 같은 의미로 처리해서 검색해야 한다. 뿐만 아니라 아름다운 선인장, 시든 선인장, 마른 선인장 등도 구분돼야 한다. 단지 「선인장」이라는 질의에 대해 빨간 선인장이라는 문장이 있는 문서와 같은 가중치의 검색결과로 제시돼서는 안 된다는 것이다.

결국 「빨간 선인장」이 갖는 속성을 만족시키는 것이 가장 정확한 결과로 우선 제시돼야 한다. 결국 단어가 가지는 각각의 개념을 정확하게 이해를 해야 한다는 뜻이다. 하지만 현재 키워드형 검색 엔진으로는 이러한 것을 처리하기가 어렵고 자연어처리를 하는 검색기술이 개발돼야 한다. 이러한 기술을 기반으로 등장한 것이 키프레이즈형 검색엔진이다.

약 6, 7년 전부터 영상정보검색에 대한 논의가 영상처리 전문가들에 의해 본격적으로 시작됐다. 영상처리기술을 이용한 내용기반 영상정보검색이라는 기술이 학문적으로 이슈가 되면서 많은 사람들이 영상정보검색에 관심을 갖기 시작했다. 마침 최근에 멀티미디어 데이터가 서서히 보급되기 시작하고 있으며 아울러 이에 따른 통신 등의 기술이 멀티미디어 보급을 지원할 수 있도록 환경이 형성되고 있다.

초창기에는 마치 내용기반 멀티미디어 정보검색기술로 모든 영상자료를 완벽하게 찾을 수 있을 것이라고 기대를 했다. 그러나 이 논의가 본격화된 지 수 년이 지난 오늘날 기술적으로 어렵다는 것이 증명되기에 이르렀다. 물론 최근 특정 도메인에서는 특정 알고리듬을 사용, 어느 정도 수준의 정확한 결과를 얻을 수 있는 정도는 가능하다. 하지만 초창기에 기대를 하던 정도에는 못 미치는 수준이다.

원래 내용기반 멀티미디어 정보검색은 사진이나 비디오 속에 있는 내용을 컴퓨터가 이해하고 이를 기억하고 있다가 그와 같은 내용의 질의가 들어왔을 때 해당 결과를 찾아주는 것을 의미한다. 즉 어떤 사진 속에 탱크라는 물체가 있다면 그와 다른 기종, 다른 각도에서 찍은 탱크사진이 들어와도 탱크를 찾아줘야 하는 것이다. 그러나 실제로 이러한 과정은 이미지 이해라는 분야의 기술적 한계 때문에 현재는 완벽하지 못한 나름대로의 결과를 제시하고 있는 실정이다. 이에 따라 현재 개발된 기술은 이미지의 특징(feature)-색상, 질감, 모양 등의 정보-을 이용하여 이미지를 검색하는 데 사용하고 있어서 처음에 의도했던 내용기반 정보검색의 의미는 퇴색했다고도 볼 수 있다.

멀티미디어 자료에 대한 표준을 주로 다뤘던 MPEG1, 2 그리고 4에 이어서 MPEG7에서는 멀티미디어 정보검색을 위한 표준을 다루고 있으며 이를 바탕으로 현재는 멀티미디어 프레임워크에 대한 표준인 MPEG21의 논의가 시작되고 있는 상황이다. MPEG7에서는 멀티미디어 정보검색을 위해 멀티미디어 데이터 특징의 종류를 정하고 그것들을 어떻게 표현할 것인지 그 표현방법의 표준을 정하고 있다. 오는 2001년 9월에 최종 표준이 완성될 것이며 현재 우리나라에서는 산학연이 협력해 매우 활발하게 이 분야에 대한 표준화를 추진하고 있다.

내용기반 영상정보검색 초창기에는 색상, 질감, 모양 등을 어떻게 잘 추출해내고 잘 검색하는가에 연구의 초점이 모아졌었다. 그러나 최근에는 연구분야가 보다 다양하고 세분화되고 있어 영상정보의 저장 및 검색이라고 하기보다는 관리라는 보다 폭 넓은 차원의 이슈가 연구되고 있다. 예를 들어 문자다중방송 등에서 제공되는 문자정보를 어떻게 바로 색인정보로 이용할 수 있을 것인가, 스토리지 계층을 포함한 저장구조의 문제, 유사도에 대한 성능측정, 검색결과의 효율적인 브라우징, 사용자 인터페이스, 메타검색엔진, 지적 소유권 및 보안에 관한 문제 등을 들 수 있다. 또 사용자 피드백을 받아서 그것을 검색엔진에 적용하는 「적합성 피드백」 이슈도 텍스트 검색분야에서 만큼 중요한 문제다.

초창기의 영상정보검색엔진은 주로 박물관, 백과사전 등의 사진을 검색하는 데 사용이 되다가 야후나 라이코스 등에서 범용 검색엔진으로 채택해 운용중이다. 즉 초기에는 주로 일반 사용자들을 위한 검색에 주로 사용됐는데 최근 비디오 색인 및 검색엔진을 중심으로 인터넷 방송제작에서 사용되거나 일반 방송국 내에서의 콘텐츠 제작에 사용되고 있다. 한단계 더 나아가 영상검색기술은 인터넷 서비스의 수익모델을 증진시키는 데도 사용이 될 수 있다. 뿐만 아니라 디지털 방송계획 등으로 방송자료를 디지털화해야 할 필요성이 생기면서 영상정보의 저장 및 검색에 눈을 돌리기 시작했다.

그러나 앞서 전술한 내용기반 멀티미디어 정보검색기술이 ABC, CNN, CBS, BBC, C-SPAN, PBS 등 수많은 외국방송사 및 콘텐츠 업체의 예를 들어 볼 때 방송사의 인터넷 사이트나 인터넷 방송사이트에서의 영상정보검색에 사용된다기보다는 방송의 제작에 널리 쓰이고 있다.

기존 방송제작과정에서는 <그림1>과 같이 입력, 편집, 포스팅 과정에서 파일을 관리하는 수준에 머물지만 콘텐츠의 양이 늘어나서 관리할 대상이 많아짐에 따라 <그림2>와 같은 식으로 SQL 및 키워드기반의 비디오 자료의 저장, 검색이 필요하게 된다. 국내 일부 방송국에서 이같은 기능의 비디오 관리시스템을 운영하고 있다. 그러나 향후 콘텐츠가 디지털화됨으로써 <그림3>과 같이 보다 고급의 비디오 관리시스템이 필요하리라 예측된다.

실제로 선진국의 일부 방송사에서는 이같은 개념의 비디오 관리시스템을 도입해 사용하고 있다. 이 비디오 관리시스템을 이용하면 영상자료의 비디오 클리핑을 위해 장면전환 자동인식엔진을 이용, 장면이 바뀌는 곳의 첫번째 프레임들을 찾아낼 수 있다. 여기에서 해당 부분만 잘라낸다면 굳이 비선형 편집기를 사용하지 않고도 해당 범위의 비디오 데이터를 전체에서 잘라낼 수 있어 바로 웹으로 전환할 수 있다. 만일 다른 비디오 클립과 이어 붙이는 작업을 한다고 했을 때도 굳이 비선형 편집기와 같은 시스템을 열지 않고서도 간단한 편집기를 이용해 원하는 비디오 클립을 만들 수도 있을 것이다.

이렇게 만든 자료를 보관했다가 추후 이를 활용하고 원활한 검색 및 관리를 위해서는 메타 데이터를 함께 입력해야 한다. 그러나 주석정보의 입력은 주지하다시피 시간과 노력을 요하는 작업으로 이를 해결하기 위해서는 문자다중방송에서 제공되는 문자정보, 시나리오, 대본 등의 자동입력 등이 요구되며 시스템 구축시 이러한 장비와 기능도 함께 구축할 필요가 있다. 이때 텍스트 검색의 결과는 문서의 일부가 제시된다. 그러나 비디오 검색에서는 현재 아주 간결한 정도만 제공이 되는데 만약 스토리보드나 프리뷰 기능까지 제공한다면 검색의 효율성을 훨씬 높일 수 있을 것이다.

인터넷 서비스 측면에서는 비디오 데이터의 내용을 모두 제공함으로써 네트워크의 구축없이 사용할 수 있다. 즉 요약화면이나 스토리보드만 제공함으로써 디스크 및 네트워크에 대한 부하도 줄이면서 사용자로 하여금 보다 빠르고 정확하게 찾고자 하는 비디오 데이터에 접근할 수 있도록 도와줄 수 있다. 나아가 요약 비디오는 인터넷 상에서 프리뷰를 하고 비디오 대여점에서 비디오를 빌려 볼 수 있도록 하는 사업모델에도 사용될 수도 있을 것이다.

영상정보검색은 초창기 검색기술로 시작하였는데 최근에는 검색기술을 바탕으로 비디오제작 및 응용시스템 개발 플랫폼으로 발전해 나가는 추세이다. 결국 방송자료의 저장 및 효율적인 검색은 콘텐츠를 보유하고 있는 방송사 등의 영원한 해결과제다. 이러한 기능은 방송제작의 여타 환경과 효율적으로 연동돼야 하며 최근 이러한 요구사항을 만족시키는 비디오 저장, 관리, 검색시스템이 개발 및 출현하고 있다.