백승렬 인공지능대학원 교수팀
화면 전환 잦은 영상 속 인물 추적·복원
울산과학기술원(UNIST)이 스포츠 중계 영상 속 여러 명의 동작을 3차원(3D)으로 복원하는 인공지능(AI) 기술을 개발했다. 축구 경기의 오프사이드 판정을 비롯한 스포츠 분석이나 영화·게임 속 가상 캐릭터에 동작을 입히는 데 유용할 것으로 기대된다.
백승렬 UNIST 인공지능대학원 교수팀은 영상 속에서 여러 사람의 형상과 동작을 일관되게 추적해 인식 오류를 줄인 3D 복원 AI 기술 '멀티썸즈'를 개발했다.
기존 3D 복원은 영상 속 사람의 체형과 자세, 위치를 분석해 입체적 형상과 움직임을 만드는 기술이다. 이 기술에 AI를 적용하면 여러 원본 영상이나 촬영 정보를 확보하지 못해도 일반 영상 하나로 3D 복원이 가능하다.
'멀티썸즈'는 3D 복원에서 오류를 줄일 수 있는 기술이다. 기존 3D 복원 기술의 경우 여러 각도에서 줌인·줌아웃한 컷을 이어 붙인 스포츠 영상이나 영화·드라마 영상 속 인물 복원이 쉽지 않았다. 정면으로 보이던 인물이 다시 옆모습으로 나타나면 다른 인물로 인식해 복원한 인물이 영상 속 엉뚱한 위치로 옮겨지기도 했다.
백 교수팀은 이 오류를 줄이기 위해 화면 전환 직전과 직후 두 이미지에서 공유 3D 공간을 만들어 적용했다. 3D 장면 복원 AI로 두 화면 속 배경과 카메라 위치를 같은 좌표계에 복원하고 각 장면의 인물 3D 모형을 이 공간에 단계적으로 맞춰 배치하는 방식이다. 즉 공간을 기준으로 장면 전후의 인물들이 얼마나 가까운지, 옷차림과 자세가 얼마나 비슷한지를 함께 비교해 같은 사람을 찾아 연결하는 것이다.
백 교수팀이 멀티썸즈를 비교 테스트한 결과, 인물 인식 오류를 약 62% 줄일 수 있는 것으로 나타났다.
백 교수는 “우리가 보는 영상 대부분은 여러 장면을 이어 붙여 만드는데 지금까지 3D 인체 복원 기술은 장면이 바뀌는 순간 사람을 놓치곤 했다”며 “이 기술은 영화·방송·스포츠 중계 같은 편집 영상에서도 여러 사람의 움직임을 3D로 복원할 수 있어, 스포츠 분석은 물론 가상·증강현실(VR·AR) 콘텐츠, 디지털 휴먼 제작 등에 활용할 수 있다”고 말했다.
울산=임동식 기자 dslim@etnews.com
