인공지능(AI) 모델 일부가 가짜 신원으로 인간에 접촉해 악성코드 전파를 시도한 사례가 확인됐다.
4일(현지시간) 영국 AI보안연구소(AISI)에 따르면 첨단 AI 모델 몇몇이 스스로 만들어낸 가짜 신원으로 인간들에게 접촉, 악성코드를 전달한 사례들이 발견됐다. 지난달 사이버 보안 평가 도중에 나타난 사례로, 일부 AI 에이전트의 승인되지 않은 활동이 지속 감지됐다.
개별 AI 에이전트가 인터넷 환경에 접근할 수 있는 상태에서 자율적이나 승인되지 않은 행동으로, 실제 사람과 조직에 악성코드를 전파하는 등의 사이버 공격 징후가 보였다는 것이다. 지난달 사이버 보안 과제 평가 총 122회 중 10건의 과정에서 악성코드 활용 사례가 19건 나타났다.
7월 25~28일 발생한 사례로 이들 19건 중 17건은 앤트로픽 '미토스 5' 모델에서, 나머지 두 건은 오픈AI 'GPT-5.6-솔'에서 각각 발견됐다.
오픈소스 소프트웨어(SW)에 대한 공급망 공격 시도도 있었다. 공격자인 AI 에이전트가 공개적으로 사용되는 오픈소스 프로젝트에 악성 코드를 삽입하려고 시도함과 동시에 사람의 승인을 획득한 사례가 가장 심각한 사례로 꼽혔다.
해당 에이전트는 프로젝트 관리자가 누구인지 자체 조사하고 스스로 만든 가짜 신원 여러 개를 악용, 실제 관리자 한 명이 코드를 승인하도록 유도했다. 직접 작성한 코드 변경 사항을 메인 코드 저장소에 반영해 달라고 요청했다가 거절되자 이전 활동을 수정, 증거를 인멸하고 새로운 신원을 만들어 공격 시도를 지속했다.
다른 에이전트는 온라인 파일 전송 서비스로 메시지와 파일을 보내 사람 또는 AI 코딩 도구가 악성 코드를 실행하도록 유도한 경우도 있었다.
영국 AISI는 “현실세계에서 실제 인물 대상 지시 없이 이 정도 수준의 기만을 본 것은 이번이 처음”이라고 지적했다. 시도는 성공하지 못했으며 피해 발생 증거도 확인되지 않았다.
앤트로픽은 영국 AISI 평가가 인터넷 접근을 허용하고 일부 안전 필터를 제거한 완화된 조건에서 수행된 것으로 보안 환경에서 모델이 탈출한 정황은 없다고 해명했다. 오픈AI는 2건의 일탈 사례에 대해 테스트 환경을 벗어났으며 불필요한 활동이라고 인정했다.
박종진 기자 truth@etnews.com
