WAA 154개 과제 수행 성공률 64.22%로 1위
특정 모델 우위 넘어 운영기술로 성능향상 입증
국내 인공지능(AI) 전문 기업과 대학으로 구성된 공동 연구팀이 마이크로소프트(MS)가 공개한 윈도 데스크톱 AI 에이전트 표준 벤치마크에서 최고 기록을 경신하는 쾌거를 이뤘다.
소르테크(대표 한창엽) AX프론티어팀과 인제대학교 미디어랩은 '윈도 에이전트 아레나(Windows Agent Arena, WAA)'의 154개 전 과제를 한 번의 클린 실행으로 수행해 64.22%(98.9/154)의 성공률을 기록했다. 지금까지 공개된 단일 실행 결과 중 가장 높은 점수로 종전 최고 기록인 OS-Symphony(GPT-5)의 63.5%를 넘어섰다.
WAA는 MS가 카네기멜런대, 컬럼비아대와 함께 개발한 오픈소스 벤치마크다. 실제 윈도 11 환경에서 문서 작성, 웹 브라우징, 시스템 설정, 코딩, 미디어 재생, 유틸리티 등 7개 영역 154개 실무형 과제를 자동 채점 방식으로 평가한다.
각 과제는 결정론적 검증 스크립트로 성공 여부를 판정한다. 에이전트가 원하는 목표 상태를 만들어냈는지를 그대로 점수에 반영한다는 점에서 신뢰도 높은 지표로 꼽힌다.
이번 성과에서 주목할 점은 점수를 끌어올린 주체가 특정 대형 모델이 아니라 공동 연구팀이 자체 개발한 에이전트 운영 기술이라는 사실이다. 동일한 AI 백본(Gemini 3.1 Pro Preview)에 세이프툴만 적용한 기본 구성은 성공률이 41.56%(64/154)에 그친 반면 연구팀의 세이프툴 오케스트레이션과 UI 자동화·최적화 파이프라인을 결합하자 성공률이 64.22%로 대폭 올랐다.
같은 모델과 과제에서 나타난 이 격차는 성능 향상의 원천이 공동 연구팀의 파이프라인 기술에 있음을 뒷받침한다.
과제 영역별로는 코딩에서 24개 전 과제를 100% 성공했고 시스템 설정(5/5), 계산기(3/3), 메모장(2/2)에서도 완전 성공을 기록했다. 파일 탐색기(15/19, 78.9%) 역시 높은 성공률을 보였다.
규칙 위반이 0건으로 집계된 점도 눈길을 끈다. '메모장을 열어 OO를 입력하라'처럼 특정 앱이나 경로가 지정된 과제에서 에이전트가 지름길로 결과만 맞춘 게 아닌 지정된 UI 경로를 그대로 따라 과제를 수행했음을 의미한다. 점수 획득의 신뢰성을 뒷받침하는 수치다.
실행 로그에는 파이프라인이 실제 개입한 정황 근거도 남았다. 단계별 감사 기록 822건, 후보 행동 재정렬 84건, 리브레오피스 모달 복구 감사 493건, 일반 복구 조치 19건 등 파이프라인이 이름뿐인 설정이 아니라 행동 선택, 검증, 복구 전 과정에 실질적으로 작동했음을 보여준다.
양진홍 인제대 미디어랩 교수(의료IT학과)는 “이번 결과의 핵심은 같은 모델에서 실제 윈도 업무 수행에 맞게 안정화하는 오케스트레이션, 검증, 복구 기술로 성능을 끌어올렸다는 점”이라며 “실무 환경에서 신뢰할 수 있는 데스크톱 자동화의 가능성을 확인했다”고 강조했다.
공동 연구팀은 이번 결과가 특정 모델 우열을 가리는 비교가 아니라 모델과 세이프툴, 파이프라인, 윈도 런타임을 포함한 '운영 구성' 전체의 성과임을 강조한다. 해당 성과를 정리한 논문을 학술지에 게재하는 한편 실패한 55개 과제를 원인별로 분류해 취약 영역을 개선하고 과제별 정밀 분석을 수행할 계획이다.
김주란 소르테크 AX프론티어팀 파트장은 “대규모 인프라 위에서 안정적으로 동작하는 에이전트 파이프라인을 학계와 함께 검증했다는 데 의미가 있다”면서 “후속 연구를 통해 성공률을 더 끌어올릴 계획”이라고 말했다.
김해=노동균 기자 defrost@etnews.com
