인공지능(AI) 번역에 이어 영어 자격증 시험을 채점하는 AI가 등장했다. AI 번역보다 정확하다는 평가다.
피어슨그룹은 영어 자격증 시험 채점에 AI를 적용했다고 2일 밝혔다. 인간과 달리 평가자 실수나 주관적 판단 개입 여지가 적다. 응시자는 시험 뒤 최장 3일 이내 성적을 확인한다. 기존 몇 주가 걸리던 작업 기간이 단축됐다.
알리스타 반 모어(Alistair Van Moere) 피어슨그룹 평가솔루션부문(ASP) 비즈니스총괄은 “AI 자동 채점기술 적용 뒤 인간 평가자 오류를 보완은 물론, 빠르고 일관된 평가가 가능해졌다”고 말했다.
AI 번역은 아직 개선점이 많지만 정형화된 영어 자격증 시험 채점에는 상용화됐다. 피어슨그룹 비즈니스 영어 자격시험 `PTE Professional`은 지난해 말 채점에 AI 시스템을 활용했다. 국내에도 ICT 솔루션 배급사 에스비씨케이가 총판 계약을 맺어 응시 가능하다.
모어 총괄은 응용 언어학 석사와 언어평가 박사 학위를 보유한 뒤 5개국 교육 기관에서 근무했다. 언어평가와 자동채점 관련 연구 보고서를 20개 이상 발표했다. 자동 채점 시스템 개발에 직접 참여했다.
자동 채점 시스템 구현을 위해 자동 음성인식, 기계학습 등 AI 기법을 사용했다. 통계적 모형과 잠재의미 분석 기법도 활용했다. 20년 이상 70개 이상 국가에서 축적한 데이터와 연구·특허를 바탕으로 정교한 채점 알고리즘을 구현했다.
기계학습으로 다른 언어의 특유 억양이 가미돼도 정확히 인식하고 채점한다. 말하기 시험에서 발음 오인 없이 채점한다. 영어권 발음과 학습자 데이터를 비교해 발음 유창성을 평가한다.
영어에 유창한 사람뿐 아니라 영어 초보자가 제공한 방대한 음성 데이터로 훈련해 숙련된 전문 채점관처럼 응시자 말하기 내용을 평가한다.
수많은 단어 의미와 문맥을 학습해 적합성을 판단한다. 의사라는 단어를 사용할 때 `doctor` 와 `physician` 모두 유사한 의미지만 공식 상황에서 doctor보다 physician 사용이 더 적합하다고 판단한다.
모어 총괄은 “기계가 문법 실수를 찾아 수정하지만 문맥 의미를 평가할 수 없다고 생각하는 사람이 많다”면서 “채점 AI는 두 가지 모두 수행한다”고 말했다.
정확도도 숙련된 전문 채점관과 같은 수준으로 올라왔다. 인간 전문 평가자 평가 말하기 채점 점수와 AI 채점 알고리즘이 평가한 점수 상관관계를 도출한 결과 0.98을 기록했다. 1에 가까울수록 인간 채점과 차이가 없다는 의미다.
모어 총괄은 “AI 시스템이 평가한 점수는 전문 채점관이 평가한 점수와 동일하다. 그만큼 평가 오류가 없다”면서 “앞으로 영어 평가시험 산업에도 AI 도입이 확대돼 획기적 변화를 가져올 것”이라고 강조했다.
오대석기자 ods@etnews.com
