AI-교사 협력으로 공정성과 효율성 동시 달성
교육 AI 전문기업 데이터드리븐은 2월 5~7일 필리핀 보라카이에서 개최된 ACDSA 2026(International Conference on Artificial Intelligence, Computer, Data Sciences and Applications)에서 생성형 AI 기반 수행평가 지원 시스템 클리포의 연구 논문 2편을 발표하고 현장으로부터 높은 평가를 받았다고 밝혔다.
이번 발표에서 데이터드리븐은 AI-교사 협력 구조가 수행평가의 공정성과 신뢰성을 어떻게 강화하는지를 대규모 로그 및 설문 데이터로 실증하고, 국제 표준(CASE) 기반 교육 지식그래프를 멀티에이전트로 자동 구축하는 방법론을 제안했다. 두 연구 모두 단순히 생성형 AI를 도입한 수준을 넘어 독자적으로 최적화한 모델과 정교하게 설계된 워크플로우가 결합된 점이 독창적이라는 해외 전문가들의 현장 평가를 이끌어냈다.
첫 번째 논문은 클리포를 활용한 AI-교사 협력 수행평가 모델이 학교 현장에서 공정성과 효율성을 동시에 개선할 수 있음을 실증했다. 연구팀은 1,405명 교사 설문과 시스템 로그 데이터를 통합 분석해 AI가 채점의 일관성을 높이고, 반복 업무를 줄이며, 교사의 전문적 판단을 '최종 결정'으로 유지하는 협력 구조를 확인했다.
특히 AI 채점과 교사 채점의 일치도를 나타내는 ICC(Intraclass Correlation Coefficient)가 평균 0.78로 나타났으며, 교사들의 응답에 의하면 평균 채점 시간도 대폭 줄었다고 분석됐다. 연구 결과는 일반적으로 우려되는 “AI가 교사의 판단을 대체하는가”라는 질문에 대해 클리포가 교사 중심의 “human-in-the-loop” 구조로 전문성을 보존하면서도 공정성과 효율성을 강화할 수 있음을 보여준다.
데이터드리븐은 최근 클리포의 AI 성능 업데이트를 통해 과목별 채점 정확도 편차를 줄이며 전반 성능을 개선했고, 다음 단계로 설명가능성(XAI)을 한층 정교화하는 연구를 추진할 계획이다. 즉, 점수가 어떻게 산출됐는지를 루브릭 기준과 근거 중심으로 더 투명하게 제시해 교사, 학생, 학부모가 납득할 수 있는 평가 체계를 고도화한다는 전략이다.
두 번째 논문은 교육과정 및 성취기준을 기계가 읽고 연결할 수 있도록 디지털화 하는 1EdTech의 CASE 표준 기반 지식그래프를 멀티에이전트가 협력적으로 자동 구축하는 프레임워크를 제안했다. 핵심은 콘텐츠 분석, 관계 합성, 검증 등 역할이 분화된 에이전트들이 감독(오케스트레이션) 프로토콜 아래 협력해서 전문가의 지식 세분화 및 연결 방식을 재현하도록 설계한 점이다.
연구 결과, 제안 프레임워크는 단일 LLM 기반 접근 대비 구조적 일관성 및 관계 정확도를 개선했으며, 실험에서 F1 0.805, 구조적 일치 지표(SCI) 0.91 수준의 성과를 보고했다. 또한 수행평가 데이터(교사 채점 및 피드백)를 지식그래프에 증거로 연결함으로써 그래프의 신뢰성을 강화하고 동적으로 업데이트 가능한 기반을 제시했다.
이는 최근 AIEd 분야에서 주목 받는 지식그래프, AI 에이전트, 평가 자동화 흐름과도 맞닿아 있으며, 데이터드리븐은 “표준 기반 데이터 구조화와 인간-기계 협력 평가”를 결합한 접근이 향후 교육 AI 생태계의 신뢰 기반을 강화할 것으로 보고 있다.
데이터드리븐은 클리포가 K-12 수행평가를 넘어 고등교육의 전공별 서술형 평가 및 루브릭 기반 평가에서도 실질적 효용이 클 것으로 전망했다. 전공 과목의 서술형 답안 채점은 채점자 간 편차와 대규모 수강 인원으로 인해 공정성, 효율성 문제가 반복적으로 제기되어 왔다. 클리포의 '루브릭 정렬 - 증거 기반 채점 - 교수자 최종 검증' 워크플로우는 이러한 문제를 완화할 수 있으며, 실제로 ACDSA 현장에서 일부 대학 관계자들이 도입 가능성에 관심을 보였다는 시그널도 확인됐다고 밝혔다.
이번 성과는 IITP(정보통신기획평가원) 지원 연구개발 프로젝트인 '맞춤형 교육을 위한 과정중심평가(학습진단) AI 기술 개발'의 성과로, 데이터드리븐은 향후 과목별 AI 성능 편차 축소, 설명가능성 강화, 표준 기반 상호운용성 확장, 고등교육 적용 시나리오 검증을 중심으로 고도화를 추진할 계획이다.
고동완 데이터드리븐 대표는 “클리포는 AI가 '채점자'가 아니라 교사의 전문적 판단을 증폭하는 협력자가 되도록 설계된 시스템”이라며 “현장의 신뢰를 얻기 위해서는 모델 성능뿐 아니라, 검증 가능하고 설명 가능한 워크플로우가 핵심이라는 점을 ACDSA에서 재확인했다”고 말했다.
한편, ACDSA 2026은 인공지능, 컴퓨터공학, 데이터과학, 응용 분야를 아우르는 국제 학술대회로, 본 학술대회 프로시딩 논문은 IEEE 디지털 라이브러리(IEEE Xplore)에 게재될 예정이다.
이원지 기자 news21g@etnews.com
