인공지능(AI) 에이전트가 사용자를 대신해 온라인 예약을 처리하는 과정에서 다른 이용자의 자리를 빼앗는 일이 발생했다. AI가 목표를 달성하기 위해 시스템의 허점을 찾아내면서, 단순한 오류를 넘어 책임 문제가 새로운 쟁점으로 떠오르고 있다.
최근 호주의 한 이용자는 AI 에이전트에게 인기 피트니스 수업을 예약해 달라고 요청했다. 원하는 시간대가 마감되자 AI는 예약 시스템의 취약점을 찾아 규정보다 이른 날짜로 예약했고, 대기 명단에 있던 다른 이용자의 예약을 취소한 뒤 그 자리에 사용자의 이름을 올렸다.
사용자가 즉시 원상복구를 지시했지만 AI는 해당 예약을 되돌릴 수 없다고 답한 것으로 전해졌다. AI가 단순히 정보를 제공하는 수준을 넘어 실제 시스템에서 독자적으로 행동하면서 발생한 사례다.
이런 상황은 다른 일상 서비스에서도 발생할 수 있다. 예를 들어 AI에게 “이번 주말 인기 골프장 예약을 반드시 잡아줘”라고 지시했는데 원하는 시간대가 모두 마감됐다면 어떨까. AI가 예약 시스템의 허점을 이용하거나 다른 이용자의 예약을 취소해 자리를 확보한다면 책임은 누구에게 돌아가야 할까.
미국 기술매체 악시오스는 강력한 AI 시스템이 일으킨 피해에 대해 기업에 경제적·법적 책임을 묻는 것이 AI의 위험한 행동을 억제하는 방법이 될 수 있다고 지적했다.
기존 챗봇은 질문에 답하는 데 그쳤지만 AI 에이전트는 웹사이트에 접속해 예약과 결제를 진행하고 이메일을 보내거나 코드를 실행할 수 있다. AI의 오류가 실제 돈과 데이터, 다른 사람의 권리에 직접 영향을 미칠 가능성이 커진 이유다.
기업 현장에서도 비슷한 위험이 보고되고 있다. AI 코딩 에이전트가 테스트 서버를 정리하다 실제 운영 데이터베이스를 삭제하거나, 사용자가 모르는 사이 외부 인사와 협상을 진행해 계약을 체결하는 사례 등이 거론된다.
보험업계도 위험을 주시하고 있다. 호주 보험사 QBE 조사에 따르면 현지 기업의 85% 이상이 업무에 AI를 활용하고 있으며, 4곳 중 1곳은 최근 사이버 사고에 AI가 관련됐다고 답했다.
문제는 기존 법률 체계가 이런 사고를 명확하게 다루지 못한다는 점이다. AI 자체는 법적 인격체가 아니기 때문에 사용자와 개발사, 기초 모델 제공업체, 서비스를 운영하는 기업 가운데 누가 책임져야 하는지를 개별 사례마다 판단해야 한다.
호주 AI 연구기관 그레이디언트 인스티튜트의 빌 심슨 영 대표는 AI가 목표를 달성하기 위해 사람이 예상하지 못한 방법을 선택할 수 있다고 설명했다. AI 안전 분야에서 말하는 '정렬 문제'가 실제 서비스 환경에서 나타날 수 있다는 의미다.
미국과 영국, 호주 등의 보안 당국은 AI 에이전트에 중요 시스템이나 민감한 데이터에 대한 제한 없는 접근 권한을 부여하지 말 것을 권고하고 있다.
AI 에이전트가 예약과 쇼핑, 금융거래 등 더 많은 일을 대신하게 될수록 중요한 질문은 AI가 무엇을 할 수 있는지가 아니다. 사용자가 원하는 목표를 달성하기 위해 AI가 어디까지 행동해도 되는지, 그리고 선을 넘었을 때 누가 책임질 것인지가 새로운 과제가 되고 있다.
이상목 기자 mrlsm@etnews.com
