스포츠 경기를 시청하다 보면 순식간에 지나가는 중요한 장면을 놓쳐서 아쉬울 때가 많다. 이런 장면을 다시 골라 볼 수 있으면 얼마나 좋을까.
국내 연구진이 이 같은 요구를 해소시켜 주는 기술을 개발했다. 조만간 인터넷TV(IPTV)나 케이블TV, 모바일 아카이브에서 맞춤형 영상 서비스로 만나볼 수 있게 될 전망이다.
한국전자통신연구원(ETRI·원장 이상훈)은 조기성 스마트미디어연구그룹 박사 연구팀이 방송의 특정 '이벤트'를 기준으로 스포츠 경기 영상 정보를 색인·편집해 제공하는 '시청자 맞춤형 방송 플랫폼 기술'을 개발했다고 25일 밝혔다.
이번에 개발한 시청자 맞춤형 방송 플랫폼 기술은 문자 중계를 활용한 이벤트 정보 획득 기술, 딥러닝을 활용한 영상 정보 추출 기술, 이벤트 구간 자동 분석 기술을 포함한다.
이를테면 문자 중계를 활용해 중계 영상의 슛·리바운드·안타·홈런 등 이벤트가 발생한 정보를 획득해 영상 중계에서 화면 구성이나 선수의 동작을 인식, 해당 이벤트 구간을 찾아내는 원리다.
선수의 투구 동작이나 내야·외야 등 장면과 경기 시간, 투구 수 등 정보를 딥러닝 기술로 컴퓨터가 스스로 분류해 추출한다. 추출한 영상 정보는 중계 영상 제작 패턴을 분석, 머신러닝(기계학습) 알고리즘으로 이벤트 구간을 식별한다. 문자 중계로 식별한 이벤트가 중계 영상의 어느 구간에 해당하는지 매칭, 이벤트 구간 정보를 기록해서 영상으로 모으는 방식이다.
딥러닝 기법을 적용, 영상 추출 정확도를 높인 것이 특징이다. 일반 방식으로는 선수의 행동에 어떤 의미가 있는지 정확하게 가려내기 어렵다.
연구팀은 이 기술을 IPTV 셋톱박스에 적용, 맞춤형 다시보기 서비스를 제공할 수 있다고 설명했다. 방대한 분량의 영상을 자동 색인화해서 모바일 아카이빙 서비스에도 활용할 수 있다.
기술 상용화도 진행하고 있다. ETRI는 이 기술을 국제방송장비 전시회(NAB)에 출품, 호평을 받았다. 이미 일부 방송사 및 방송 콘텐츠 업체와 기술 이전 협의를 진행하고 있다.
지금은 야구와 농구 경기에 국한했지만 앞으로 영상 제작 패턴이 일정한 스포츠 부문으로 분야를 확대할 예정이다. 스포츠 외 분야에 적용하는 방안도 염두에 두고 있다. 안면 인식 기술, 사물 인식 기술을 적용하면 드라마·예능 방송 분야에서도 쓸 수 있다.
조기성 박사는 “시청자 맞춤형 방송 플랫폼 기술은 현재 즉시 상용화가 가능한 수준”이라면서 “영상 콘텐츠를 자동 추출하고 가치를 부여할 수 있어 영상 콘텐츠 분야에서 신산업을 창출하는 계기가 될 것”이라고 설명했다.
대전=김영준기자 kyj85@etnews.com
