엔비디아가 인간 통제를 벗어나는 인공지능(AI) 에이전트의 돌발 행동을 막는 솔루션을 공개했다. 최근 사람이 지시하지 않아도 스스로 업무를 처리하는 AI 에이전트의 안전 문제를 해결할 수 있을지 주목된다.
엔비디아는 28일(현지시간) '엔비디아 오픈 에이전트 세이프티 플랫폼'을 선보였다. 플랫폼은 AI 에이전트 시험 단계부터 실제 배포 단계까지 전 과정에 통제 기능을 제공한다.
이 플랫폼은 오픈소스 소프트웨어인 '오픈셸'과 하드웨어 감시 장치 '센트리'로 구성된다. 오픈셸은 중앙처리장치(CPU) 상에서 작동하는데, AI 에이전트 행동 범위를 설정하고 이를 실시간으로 제어하는 역할을 담당한다. 센트리는 데이터처리장치(DPU) 상에서 밀리초(1000분의 1초) 단위로 감시해 AI 에이전트가 경계를 벗어나면 즉시 격리하고 정지시킬 수 있다.
젠슨 황 엔비디아 최고경영자(CEO)는 “AI의 뛰어난 잠재력은 AI 안전 문제를 풀어야만 실현될 수 있다”며 “AI 기능이 발전하는 만큼 안전 기술도 속도를 높여야 한다”고 밝혔다.
엔비디아가 이와 같은 플랫폼을 내놓은 것은 최근 AI 에이전트의 '이탈 행동' 때문이다. 인간의 명시적 지시가 없는데도 통제를 벗어나 외부 시스템을 무단으로 침투한 사례가 늘고 있다.
이번 플랫폼 개발에는 앤트로픽, 마이크로소프트(MS), 세일스포스, 팔란티어, 스페이스XAI 등 세계 100여개 기술기업이 참여했다. AI 모델 개발사와 클라우드·기업용 소프트웨어 업체, 데이터 분석 기업이 대거 참여한 만큼, 이 플랫폼이 산업 전반의 AI 에이전트 안전 기준을 마련하는 출발점이 될 가능성도 제기된다.
권동준 기자 djkwon@etnews.com
