광주과학기술원(GIST)은 강동호 반도체공학과 교수와 오세용 한양대학교 에리카(ERICA) 전자공학부 교수 공동연구팀이 카메라에 들어오는 빛의 세기에 따라 밝고 어두운 부분의 차이를 키워 흐릿한 영상을 더 선명하게 만드는 반도체 기술을 개발했다고 1일 밝혔다.
사람의 망막은 일부 시각 신호를 억제해 밝고 어두운 부분의 차이를 두드러지게 만들고 물체의 윤곽을 구분하는 데 도움을 준다. 연구팀은 이러한 망막의 신호 억제 기능에 주목했다. 센서가 빛을 감지하는 동시에 일부 영상처리까지 수행하는 '인-센서 영상처리' 기술은 외부 프로세서로 보내야 할 데이터의 양을 줄여 전력 소모와 처리 지연을 줄일 수 있다. 하지만 기존 기술 가운데 일부는 빛의 세기에 따라 적절한 작동 조건을 별도로 선택해 소자를 제어해야 한다.
연구팀은 먼저 매우 얇은 반도체 물질인 이셀레늄화텅스텐(WSe2)을 이용해, 망막의 신호 억제 기능을 구현하는 트랜지스터를 개발했다. 이 트랜지스터는 작동 상태에 따라 신호를 줄이는 정도가 달라진다.
이어 빛을 감지하는 광센서와 이 트랜지스터를 연결해, 광센서가 빛을 받아 만든 전기 신호에 따라 트랜지스터 작동 상태가 달라지도록 했다. 이에 따라 별도의 조명 조건 판단 없이 빛의 세기에 맞춰 신호를 줄이는 정도가 자동으로 조절된다.
빛이 약할 때는 신호를 크게 줄이고, 빛이 강할 때는 비교적 유지해 영상의 밝고 어두운 부분을 뚜렷하게 만든다.
연구팀은 이러한 영상처리 방식을 여러 개의 광센서에 적용해, 밝고 어두운 부분이 섞인 영상에서도 제대로 작동하는지 확인했다. 알파벳 'G' 모양의 신호에 약한 노이즈를 섞어 입력한 결과, 글자를 이루는 강한 신호는 비교적 유지된 반면 주변의 약한 노이즈는 줄어 'G'의 윤곽이 더 뚜렷해졌다.
연구진은 이러한 영상처리가 이미지를 학습하고 구별하는 인공신경망(ANN)의 문자 인식에도 도움이 되는지 확인하기 위해, 비나 안개 등으로 영상에 노이즈가 생기는 상황을 가정한 시뮬레이션을 진행했다. 노이즈로 흐려진 차량 번호판 문자 이미지를 이용해 인식 정확도를 비교했다.
시뮬레이션 결과 깨끗한 문자 이미지를 학습한 인공지능(AI)에 노이즈가 포함된 이미지를 그대로 입력했을 때 인식 정확도는 47.7%였지만, 같은 이미지에 이번 영상처리를 적용한 뒤 입력했을 때는 97.3%로 높아졌다. 배경의 약한 신호가 줄고 글자 형태가 다시 뚜렷해지면서 AI가 문자를 구별하기 쉬워졌다.
향후 대면적 소자 제작과 광센서 집적 등을 통해 더 큰 규모의 인-센서 영상처리 시스템으로 확장하는 연구가 필요하다고 설명했다.
강동호 교수는 “이번 연구는 들어오는 빛의 세기 자체를 이용해 별도 조명 조건 판단 없이 픽셀 단위에서 영상 신호를 조절할 수 있음을 보여줬다는 데 의미가 있다”며 “향후 자율주행과 같이 실시간 영상 전처리 기능이 필요한 초저전력·고성능 AI 반도체 개발에 중요한 기반이 될 것”이라고 말했다.
전남광주=김한식 기자 hskim@etnews.com
