한승열 인공지능대학원 교수팀
군집 로봇·다중 자율주행 안정성 향상 기대
자율 드론 군집 비행에서 한 기기에 문제가 생겨도 목표 임무를 계속 이어갈 수 있는 새로운 학습 기술이 개발됐다.
한승열 UNIST 인공지능대학원 교수팀은 인공지능(AI) 에이전트 간의 협력 고리를 일부러 끊어보며 훈련하는 멀티 에이전트 강화학습 기술 '상호작용 차단 적대 학습(IBAL)'을 개발했다고 24일 밝혔다.
IBAL은 일부 AI가 멈추거나 상호 위치와 상태를 제대로 파악하지 못해도, 남은 AI들이 새로운 협력 방안을 찾아 임무를 이어가게 하는 학습법이다. 축구에 비유하면 한 선수가 퇴장했을 때 남은 선수들이 빈 공간을 메우며 경기를 이어가는 것과 비슷하다.
IBAL은 이러한 대응 능력을 키우기 위해 학습 과정에서 협력 네트워크가 깨지는 상황을 반복한다. AI를 두 그룹으로 나누고, 어떤 정보와 행동이 그룹 간 협력에 중요한지를 상호정보량으로 분석해 찾아낸 뒤 중요 '정보'를 가리고 협력을 깨뜨리는 '행동'을 유도한다. 매 학습 단계마다 그룹 구성을 무작위로 바꾸고 깨뜨리는 공격 강도도 학습 상황에 맞춰 자동 조절해 다양한 형태의 협력 붕괴 상황을 폭넓게 경험하도록 한다.
기존 다중 에이전트 강화학습은 주로 센서 정보에 의도적으로 잡음을 넣거나, AI가 임무 수행에 불리한 행동을 하도록 만들어 훈련한다. IBAL은 개별 AI의 판단을 방해하는 데 그치지 않고 AI간 협력 관계 자체를 흔드는 훈련을 받기 때문에 일부 AI가 고장 나거나 통신이 끊겨도 남은 AI들이 새로운 협력 방식을 찾아 임무를 이어간다.
한 교수팀은 전략 게임 '스타크래프트 II' 기반의 실험 환경(SMAC)에서 아군 유닛 일부가 갑자기 작동을 멈추는 돌발 상황을 가정해 IBAL의 성능을 검증했다. 그 결과, 기존 AI 모델은 팀원 결손 시 전체 협력 체계가 도미노처럼 무너져 승률이 최대 13.3%까지 급락했다.
반면 IBAL로 학습한 모델은 체력이 떨어진 유닛을 후방으로 빼고 건강한 유닛을 전면에 내세우는 등 즉각 진형을 재구축해 87.0%라는 압도적인 승률을 기록했다.
한승열 교수는 “자율 드론과 군집 로봇, 스마트 팩토리처럼 다수 AI가 함께 작동하는 시스템의 안전성과 신뢰성을 높이는 기반 기술이 될 것”이라고 말했다.
이 연구 결과를 담은 논문은 오는 7월 6일~11일까지 서울 코엑스에서 열리는 '국제머신러닝학회(ICML) 2026'에 채택됐다.
울산=임동식기자 dslim@etnews.com
