광주과학기술원(GIST·총장 임기철)은 김의환 AI학과 교수팀이 두 장의 이미지를 비교해 인공지능(AI)이 주어진 상황에 맞는 중요한 변화를 찾아 정확하게 설명하는지 확인할 수 있는 새로운 평가 기준 '문맥 인식 변화 설명 평가체계(C3-Bench)'를 개발했다고 14일 밝혔다.
AI의 성능을 제대로 비교하려면 같은 문제를 주고 어떤 AI가 더 정확하게 해결하는지 판단할 수 있는 기준이 필요하다. C3-Bench는 두 장의 이미지와 함께 '무엇을 살펴볼 것인지'를 제시하고, AI가 그 목적에 맞는 변화를 골라 설명하는지 확인하는 일종의 'AI 변화 이해력 시험'이다.
두 사진에서 다른 부분을 많이 찾아낸다고 해서 AI가 사진 속 변화를 잘 이해한다고 할 수는 없다. 무엇을 확인하려는지에 따라 중요하게 봐야 할 변화가 달라지기 때문이다.
연구팀은 자연 장면, 위성·항공 등 원격탐사 영상, 이미지 편집, 이상 탐지 등 4개 분야에서 51개의 현실적인 변화 상황을 선정하고, 사람이 변화 내용을 직접 설명한 4996개의 이미지 쌍으로 C3-Bench를 구성했다. 각 상황마다 AI가 '찾아야 할 변화'와 '무시해야 할 차이', '변화를 설명할 때 지켜야 할 기준'을 구체적으로 정했다.
같은 이미지 쌍이라도 눈에 보이는 차이를 단순히 나열하는 것이 아니라, 주어진 상황에서 중요한 변화를 제대로 골라 설명했지 평가할 수 있도록 했다. 그 결과 4개 항목을 종합한 10점 만점 점수는 사람이 7.45점, GPT-5.2가 5.72점으로 1.73점의 차이를 보였다. 반면 문장의 자연스러움만 놓고 보면 GPT-5.2가 8.53점으로 사람(8.32점)보다 오히려 높았다. 이는 AI가 사람이 쓴 글에 가까운 자연스러운 문장을 만드는 능력과 실제 이미지에서 중요한 변화를 정확하게 찾아내는 능력이 반드시 같은 것은 아님을 보여준다.
김의환 교수는 “이번 연구는 AI가 '자연스럽게 설명하는 능력'과 '상황에 맞는 변화를 정확하게 이해하는 능력'이 반드시 같지는 않다는 점을 체계적으로 보여줬다”며 “C3-Bench가 향후 재난·사고 현장의 변화 감시, 위성·항공 영상을 활용한 원격탐사, 자율주행, 이상 탐지 등 다양한 현실 환경에서 AI의 변화 이해 능력을 평가하고 개선하는 연구의 공통 기반으로 활용되기를 기대한다”고 말했다.
전남광주=김한식 기자 hskim@etnews.com
