이미 고인이 된 가수를 다시 만날 수 있다면.
하늘의 별이 된 아티스트 울랄라세션 故 임윤택과 故 유재하가 거짓말처럼 2022년 방송콘텐츠에 등장했다. 예전에 부르던 노래를 들려주고 가사를 써놓고 미처 발표하지 못한 새로운 노래도 선보였다.
티빙 오리지널 예능 '얼라이브' 이야기다. 얼라이브에서 임윤택과 유재하는 인공지능(AI) 기술을 기반으로 복원됐다. 기존 AI 음악 프로그램은 홀로그램으로 고인이 된 인물을 구현했지만 얼라이브는 대형 미디어 월 기반 확장현실(XR) 스튜디오에서 두 가수를 보다 생생하게 재현했다.
티빙은 음성, 페이스, 바디모델을 사용한 딥페이크 기법을 바탕으로 고인이 된 아티스트 모습과 목소리를 복원해 실감형 콘텐츠로 제작했다.
먼저 두 가수에 대한 증언을 모아 스토리를 구성하는 데 약 3개월 정도 시간이 소요됐고 목소리와 모습을 복원하는 데 1년 정도 걸렸다. 유재하는 단 한 번의 방송 출연만 해 데이터가 많지 않았고 임윤택은 평소 모자·안경 등 액세서리를 착용해 완벽한 구현에 어려움이 있었다.
음성은 수퍼톤이 AI를 이용해 복원했다. 음성합성 솔루션은 가창 음성을 음색, 발음, 운율, 세기 개념으로 분리해 훈련하는 등 창법은 물론 미세한 감성까지 표현할 수 있는 모델을 만들 수 있었다. 딥페이크를 활용한 얼굴 복원에는 가상인간 루이를 개발한 디오비스튜디오가 참여했다.
딥페이크는 AI 기술을 이용해 제작된 가짜 동영상 또는 제작 프로세스 자체를 의미한다. 적대관계생성신경망(GAN)이라는 머신러닝 기술로 기존 사진이나 영상을 원본에 겹쳐 만들어낸다. 기술이 고도화되면서 점차 진짜와 구분하기 어려운 수준까지 발전했다.
2017년 미국 대형 온라인 커뮤니티 '레딧'에 올라온 합성 포르노 영상을 딥페이크 시초로 본다. 공개 소프트웨어(SW) 텐서플로를 활용해 유명 연예인과 포르노를 합성한 영상을 올렸다. 이후 '페이크앱'이라는 무료 SW가 배포되며 초보자도 쉽게 딥페이크 영상을 만들 수 있게 됐다.
딥페이크 기술은 윤리 논쟁을 촉발하고 있다. 유명인 얼굴을 활용한 포르노로 피해자가 발생하고 있다. 가짜뉴스 위험성도 제기된다. 유명 정치인 얼굴을 합성한 딥페이크 가짜 연설 영상은 활자보다 더 파급력이 클 것으로 예상된다.
티빙은 딥페이크 기술이 마냥 부정적이라는 인식을 깨기 위해 좋은 취지로 활용하는 순기능에 주목했다. 2020년 Mnet이 'AI음악프로젝트 다시 한번'으로 故 김현식, 故 임성훈(거북이 터틀맨)을 복원한 경험을 살렸다.
AI가 두 가수를 학습할 수 있는 기본 데이터를 만들기 위해 가수 얼굴 생김새, 스타일을 살릴 수 있도록 셰도 액터 딥페이크 기법을 활용했고 비슷하게 복원하는 데 성공했다.
두 가수가 살아 생전에 부른 노래는 물론 신곡까지 들려주는 반가운 모습은 온라인동영상서비스(OTT) 티빙에서 볼 수 있다.
박종진기자 truth@etnews.com
