딥러닝 기술을 이용해 풀 고화질(HD) 비디오 영상을 4K 초고화질(UHD) 영상으로 초해상화(업스케일링)하는 변환 기술이 개발됐다. 이 기술은 프리미엄 UHD TV, 가상현실(VR), 4K 인터넷 프로토콜 텔레비전(IPTV) 등 초고화질 영상을 활용하는 각 분야의 기술 발전에 큰 역할을 할 것으로 전망된다.
KAIST(총장 신성철)는 김문철 전기 및 전자공학부 교수팀이 심층 컨벌루션 신경망(DCNN)을 이용해 초당 60프레임의 4K UHD 영상을 실시간 생성하는 알고리즘, 이를 하드웨어(HW)에 적용한 '필드 프로그래머블 게이트 어레이(FPGA)'를 개발했다고 16일 밝혔다.
영상의 수평·수직 비율을 확장해서 품질을 높이는 초해상화 기술은 최근 UHD가 주류 해상도로 자리매김하면서 큰 관심을 끌고 있다. UHD 플랫폼이 늘어나는 반면에 이를 채울 콘텐츠가 부족, 기존의 풀 HD급 영상을 업스케일링하는 기술이 각광받고 있다.
업스케일링에는 주로 DCNN이 활용된다. DCNN은 여러 개의 회선 계층, 인공 신경망 계층을 활용해 영상·음성 분야 학습에 유리한 딥러닝 구조로 되어 있어 UHD 영상 생성에 적용하기가 쉽지 않다. 방대한 연산 과정과 메모리가 필요하기 때문이다. 메모리 병목 현상을 피할 수 없고, 소요 전력량도 크다. 일반 플랫폼에서는 실시간 영상 데이터 처리가 사실상 불가능하다.
연구팀은 새로운 방식의 DCNN 알고리즘을 설계, 문제를 해결했다. 기술 핵심은 '라인 단위 영상 처리' 방식이다. 기존의 프레임 단위 처리 방식은 전체 프레임 영상을 외부 메모리에 저장한 뒤 연산을 수행한다. 반면에 새로운 라인 단위의 영상 처리 방식은 한 프레임을 2160개의 선으로 나눠 각 선의 저장과 연산을 병행하는 식이다. 외부 메모리를 사용하지 않고도 변환 성능을 높일 수 있다. 이 방식은 HW 코드로 구현돼 FPGA 및 작은 규모의 UHD 플랫폼에 적용된다.
연구팀은 학습 최적화도 이뤘다. 기존 대비 65% 수준의 필터 파라미터(학습 정보를 담은 데이터)로도 UHD 영상 화질을 낼 수 있도록 했다.
연구팀은 이들 기술을 미래 영상 매체에도 적용할 수 있다고 설명했다. 같은 방식으로 4K UHD 영상을 8K UHD화 할 수 있다. 현재 이들 기술의 특허 출원을 준비하고 있다.
김 교수는 “이번 연구는 DCNN이 작은 규모의 HW에서 UHD 영상 처리에 응용할 수 있음을 보인 것”이라면서 “앞으로 다양한 UHD 콘텐츠와 서비스에 적용할 수 있다”고 설명했다.
대전=김영준기자 kyj85@etnews.com
