전남대는 유석봉 인공지능융합학과 교수팀이 촬영 영상에서 얼굴이 가려져도 감정을 읽을 수 있는 기술을 개발했다고 19일 밝혔다.
연구팀은 촬영된 얼굴 이미지의 중요한 정보가 가려진 상황에서도 얼굴을 복원하고 감정을 강인하게 추정할 수 있는 시각지능 알고리즘을 제안했다.
영상에서 손이나 커피잔 등 물체가 얼굴 일부를 가리면, 기존 인공지능(AI) 기반 감정인식 기술에서는 얼굴의 특징을 추출해 감정을 정확하게 예측하는 데 상당한 어려움이 있었다.
연구팀이 개발한 '레이턴트 오퍼(Latent-OFER)'는 얼굴에서 가려진 부분을 감정 라벨(label)이 변하지 않도록 복원하고 인식해 감정인식의 정확도를 높이는 기술이다. 가려진 영역은 자기지도학습 기반의 '폐색 패치 감지기'를 통해 마스킹 처리된다. 이후 비전 트랜스포머(Vision Transformer) 기반 하이브리드 재구성 네트워크를 사용해 감지한 폐색 영역을 완전한 이미지로 복원하는 방식이다.
연구팀은 감정 연관 잠재 벡터 추출기를 새롭게 제안하면서 전체 잠재 벡터 중 감정 관련 정보만을 집중해 인식을 위한 특징점으로 활용하는 기술을 사용했다. 레이턴트 오퍼 기술은 주요 정보가 가려져도 인공지능 인식성능 저하를 방지한다는 데 장점이 있다. 다양한 데이터베이스 실험을 통해 개발된 기술이 기존 방법들의 성능을 능가한다는 결과를 확보했다.
이 연구는 전남대 인공지능융합학과 시각지능미디어연구실 이이삭 석사과정 학생(제1저자), 이은기 학석사연계과정 학생(제2저자)이 참여했고, 유석봉 교수가 교신저자로 참여했다.
연구논문은 오는 10월 프랑스 파리에서 열리는 IEEE '컴퓨터 비전 국제콘퍼런스(ICCV) 2023'에서 공식 발표된다.
광주=김한식 기자 hskim@etnews.com
