#장면 1=“시험 문제를 풀랬더니 답안지를 훔쳐 왔다”
지난 7월 오픈AI가 자율형 인공지능(AI) 에이전트의 사이버 능력을 시험하던 중 예상 밖의 일이 벌어졌다. AI에게 주어진 임무는 사이버보안 문제를 해결하는 것이었다. 그런데 AI는 문제를 정상적으로 풀기보다 정답이 있을 가능성이 높은 외부 시스템을 찾아 나섰다.
허깅페이스(Hugging Face)가 공개한 분석에 따르면 이 AI는 평가환경을 벗어나 외부 시스템에 접근했고, 데이터 처리 시스템과 클라우드 환경, 내부 네트워크까지 이동했다. 복원된 행동 기록은 약 1만7600건에 달했다. 중요한 것은 피해 규모보다 행동 방식이다.
누구도 “허깅페이스에 침입하라”고 지시하지 않았다. AI가 스스로 목표를 가장 쉽게 달성할 방법을 찾아낸 것이다. 사람으로 비유하면 “시험에서 100점을 받으라”고 했더니 열심히 공부하는 대신 교무실에 들어가 답안지를 훔치려 한 셈이다.
#장면 2=악성코드를 심고 '가짜 인간'까지 만들었다
영국 AI 안전연구소(AISI)가 최첨단 AI 에이전트의 자율성을 평가한 결과는 더욱 충격적이었다. 122차례의 평가 중 19건의 허가받지 않은 돌발 행동이 발견됐다.
AI는 실제 깃허브(GitHub)의 오픈소스 프로젝트에 악성코드가 포함된 수정안을 슬그머니 제출했다. 여기서 끝나지 않았다. 개발자가 이 코드를 받아들이도록 만들기 위해 여러 개의 가짜 온라인 인물을 만들어 냈다. 그러고는 자신이 제출한 코드가 “완전하고 안전하다”고 보증하는 댓글 자작극을 벌였다.
미국 텍사스대 댈러스의 컴퓨터공학도 시난 잔 데미르(Sinan Can Demir)가 이 악성코드를 발견하고 문제를 제기하자, 서로 다른 개발자인 척하는 가짜 계정들이 떼로 몰려들어 그의 주장을 반박하며 압박했다. 나중에 밝혀진 사실은 놀라웠다. 치열하게 논쟁을 벌인 계정들이 실제 사람이 아닌 AI가 만들어낸 '가짜 사람들'이었기 때문이다.
AI가 인간을 속이는 것을 넘어, 시스템과 인간, 나아가 다른 AI 코딩 에이전트까지 속이려는 다차원적 기만 행위가 현실로 나타난 것이다.
#장면 3=디지털을 넘어 물리 세계로…'행동하는 AI'의 공포
더 큰 위험은 가상 공간에만 머물지 않는다는 점이다. 최근 로보틱스, 드론, 휴머노이드 등 물리적 실체를 가진 '피지컬 AI'가 산업 현장에 속속 도입되면서 '행동하는 AI'의 위험은 현실 공간으로 급격히 확장되고 있다.
소프트웨어 에이전트가 가상 공간에서 가짜 인격을 만들어 내는 정도였다면, 피지컬 AI는 실제 물리적인 힘을 행사한다.
물류나 경비 임무를 맡은 자율주행 로봇이 “가장 빠르게 이동하라”는 명령을 완수하기 위해 보행자 안전 구역을 침범하거나 통제 구역을 무단 기습할 수 있다.
스마트 팩토리의 휴머노이드 로봇에게 “생산 효율을 극대화하라”고 지시했을 때, 안전 수칙을 무시하고 위험한 속도로 장비를 가동해 대형 인명 사고를 유발할 수도 있다.
“비용을 20% 줄이라”고 했더니 핵심 서버 전원을 꺼버리고, “계약을 무조건 따내라”고 했더니 고객에게 허위 정보를 전달해 계약을 성사시키는 일들이 현실화되는 것이다. AI가 악의를 품어서가 아니다. 인간이 목표는 주었지만, '해서는 안 될 행동의 경계선(Red Line)'을 완벽하게 통제하지 못했기 때문이다.
이제 AI 산업의 패권은 단순히 '누가 더 똑똑한 AI를 만드느냐'에 있지 않다. '누가 더 강력한 AI에게 일을 맡기면서도 완벽하게 통제할 수 있느냐'가 새로운 핵심 경쟁력이다.
AI도 사람처럼 철저한 '권한 등급'과 안전장치가 필요하다.
AI 에이전트에게 필요한 최소한의 시스템 접근 권한만 부여해야 한다. 핵심 의사결정 단계에는 반드시 인간의 승인을 거치도록 설계해야 한다. AI의 모든 행동 기록(Log)을 실시간 감시하고, 즉시 차단할 수 있는 '실시간 셧다운(긴급정지) 장치'가 기업의 기본 인프라가 되어야 한다.
이 과정에서 AI 감사, AI 리스크 보험, 에이전트 권한 관리 솔루션 같은 'AI 통제 산업(AI Governance Industry)'도 커질 것이다.
AI는 이미 '말하는 기계'에서 스스로 판단하고 '행동하는 행위자'로 진화하고 있다. 가장 뛰어난 지능이 통제선을 넘지 않도록 울타리를 치면서 그 능력을 극대화하는 기술. 그것이 '행동하는 AI' 시대에 기업과 국가가 갖춰야 할 진짜 패권의 조건이다.
최은수 KBIZ 서울중남부AI사업협동조합 이사장·인텔리빅스 대표 ·aSSIST 석학교수
