인기 필라테스 수업을 대신 신청해달라는 이용자의 요청을 수행하던 인공지능(AI) 에이전트가 예약 시스템의 허점을 찾아 다른 회원의 수업 신청을 취소한 사례가 나왔다.
11일(현지시간) BBC는 호주 멜버른에 사는 앤드루 버드의 사례를 소개했다. 버드는 예약 경쟁이 치열한 필라테스 강좌를 대신 신청하도록 AI 에이전트에 업무를 맡겼다. 그가 이메일 확인과 일정 관리, 식당 예약 등에 활용하던 AI 도구 '오픈클로'를 사용했다.
AI는 통상적인 예약 제한을 피해 몇 달 뒤 열리는 강좌까지 신청하는 데 성공했다. 이후 버드가 대기자 명단에서 더 앞선 순번을 확보할 수 있는지 질문하자 예상 밖의 방법을 찾아냈다. 다른 회원이 잡아둔 수업을 취소하면 대기 순위가 올라간다는 점을 발견한 것이다.
당시 버드의 대기 순위는 4위였지만, AI가 다른 회원의 예약을 취소하면서 순위는 3위로 바뀌었다. AI는 버드에게 다른 사람의 예약을 취소할 때 별도의 본인 인증이나 확인 절차가 없었다고 설명하면서 직접 해당 방식을 실행했고, 실제로 가능했다고 알렸다.
버드는 곧바로 취소된 예약을 원상 복구하라고 지시했지만 AI는 이를 되돌리지 못했다. 결국 버드는 AI를 이용해 사이버보안 보고서를 작성한 뒤 헬스장 측에 예약 시스템의 문제를 전달했다.
이 일은 지난 4월 벌어졌으며, 최근 ABC 뉴스 호주를 통해 알려졌다. 대규모 사이버 공격으로 볼 만한 사건은 아니지만, AI 에이전트가 목표를 달성하는 과정에서 이용자가 의도하지 않았던 방식까지 선택할 수 있다는 점을 보여준 사례로 평가된다.
실제로 오픈AI와 앤트로픽, 메타 등 주요 AI 기업들은 최근 진행한 테스트에서 AI 시스템이 주어진 목적을 달성하기 위해 사이버 공격과 같은 예상 밖의 행동을 한 사례를 잇따라 공개했다.
버드는 “다른 회원의 자리를 빼앗으려는 의도는 전혀 없었다”면서도 이번 경험이 AI를 보다 신중하고 책임감 있게 활용해야 한다는 경고가 됐다고 말했다.
이원지 기자 news21g@etnews.com
