기존 알고리즘대비 해상력은 3㏈ 높아
다양한 워핑 도메인에서 호환되는 알고리즘 개발
비전 기술 분야 세계적 권위의 학술지인 'ECCV' 게재
대구경북과학기술원(DGIST·총장 국양)은 진경환 전기전자컴퓨터공학과 교수 연구팀이 최광표 삼성리서치 마스터와 공동연구로 기존 대비 메모리 속도는 절감되고, 해상력은 3㏈ 증가한 영상처리 딥러닝 기술을 개발했다고 26일 밝혔다.
이 기술은 기존 신호처리 기반의 이미지 보간 기술보다 화면 엘리어싱(PC 그래픽에서 사선이나 곡선을 그리며 톱니 모양처럼 선이 형성되는 현상)을 줄여 보다 자연스럽게 영상이 출력될 수 있으며, 특히 이미지의 고주파 부분을 뚜렷하게 복원할 수 있다. 가상현실(VR)이나 증강현실(AR)에 적용할 경우 더 자연스러운 화면을 출력할 수 있을 것으로 기대된다.
신호처리 기반의 이미지 보간 기술은 이미지의 특정 위치를 지정, 다양한 환경에서 원하는 이미지 영상을 보전해주는 기술이다. 메모리와 속도가 절감된다는 장점이 있지만, 화질열화 현상으로 이미지가 변형되는 문제가 있다.
이를 해결하기 위해 딥러닝 기반의 초고해상도 영상 이미지 변환 기술들이 등장했지만, 대부분 합성곱 인공지능망 기반 기술로, 픽셀과 픽셀 사잇값들 추정이 부정확해 이미지가 변형된다는 단점이 있다. 이러한 단점을 극복하고자 함축 표현 신경망 기술이 주목받고 있지만, 이 기술은 고주파 성분을 잡아내지 못하고 메모리와 속도 역시 증가한다는 단점이 있다.
연구팀은 이미지에서 고주파 성분 특징을 표현할 수 있도록 이미지를 여러 주파수로 분해하고, 함축 표현 신경망 기술을 통해 분해된 주파수에 다시 좌표를 부여해 더욱 선명하게 보일 수 있도록 이미지화하는 기술을 개발했다.
해당 기술은 이미지 딥러닝 기술인 퓨리에 해석과 함축 표현 신경망 기술이 결합한 새로운 기술이다. 이 기술은 이미지를 복원할 때 필수적인 주파수 성분들을 인공지능망을 통해 분해, 고주파 성분을 복원하지 못한다는 함축 표현 신경망의 단점을 보완할 수 있었다.
진경환 교수는 “이 기술은 이미지를 보는 사람이 선명하게 볼 수 있도록 임의로 이미지 형태를 변형하는 이미지 워핑 기술보다 복원 성능이 높고, 메모리를 적게 소모한다는 점에서 훌륭하다고 할 수 있다. 화질 복원과 이미지 편집 분야에서 해당 기술이 활용돼 학계와 산업계에 기여하기를 바란다”고 밝혔다.
한국연구재단(NRF), 정보통신기획평가원(IITP)과 DGIST의 지원을 통해 이뤄진 이번 연구성과는 최근 세계적 권위의 학술지인 'ECCV(European Conference on Computer Vision)'에 게재됐다.
대구=정재훈기자 jhoon@etnews.com
