기업의 인공지능(AI) 에이전트 도입이 본격화하면서 에이전트가 부여된 범위를 벗어나 행동하는 '월권'이 새로운 보안 위험으로 떠올랐다. 업계에서는 이에 대응해 에이전트의 권한을 제한하고 중요 작업에는 사람의 승인을 거치며 판단·행동을 추적·감사하는 통제체계를 강화하고 있다.
19일 업계에 따르면 최근 삼성SDS는 'AI 에이전트를 위한 적응형 안전 기술'과 'AI 에이전트를 위한 보안기술 연구' 등의 연구개발 실적을 공개했다. AI 에이전트 안전·보안을 명시한 과제는 이번이 처음이다.
두 과제는 에이전트에 특화한 레드티밍과 실시간 가드레일, 거대언어모델(LLM)·에이전틱 AI·멀티에이전트 시스템을 겨냥한 탈옥 취약점, 강화학습(RL) 기반 보안 원천기술을 다룬다. 에이전트의 잠재적 위험과 사용자 정책 위반 가능성을 사전에 찾아내고, 실제 실행 과정에서 비정상 행위를 실시간 차단·통제하는 기술을 확보하려는 움직임으로 풀이된다.
삼성SDS는 기존 제품에서도 AI 안전·보안 기능을 제공하고 있다. 기업용 생성형 AI 플랫폼 '패브릭스'와 '브리티 코파일럿'을 중심으로 통합 권한관리·모니터링 체계를 더욱 강화하는 모양새다.
기업들이 AI 도입을 본격화하는 가운데 행동 통제 체계를 구체화하는 움직임은 이어지고 있다. LG CNS는 지난 5월 AI 에이전트가 정해진 업무 범위를 벗어나지 않도록 실행환경과 검증체계를 설계하는 '하네스 엔지니어링'을 운영·검증 방법론으로 소개했다. 프롬프트로 규칙 준수를 권고하는 수준을 넘어 권한 제어와 정책 검증, 시스템 가드레일을 통해 금지된 명령이나 검증되지 않은 결과의 실행을 막는 방식이다. 기업용 AI 플랫폼 '에이전틱웍스'는 에이전트 평가·모니터링과 권한관리·거버넌스를 기본 기능으로 제공한다.
'엑스젠틱와이어 NPO'를 내세워 에이전틱 AI 전환을 추진하는 SK AX도 행동 통제에 초점을 맞추고 있다. 지난 5월 공개한 인사이트를 통해 에이전트 보안체계의 설계 방향을 구체화했다. 에이전트별 최소권한과 실행 반경을 설정하고, 민감정보 접근이나 외부 시스템 호출 등 고위험 작업에는 사람의 승인을 받도록 하는 구조다. 의사결정 추적과 로그 관리, 표준운영절차(SOP) 기반 감사 에이전트, 실시간 이상행동 탐지도 AI옵스(AIOps) 플랫폼과 연계해 제공한다.
이런 변화는 AI 에이전트는 생성형 AI와 달리 전사적자원관리(ERP)·고객관계관리(CRM)·그룹웨어 등 기업 시스템을 호출해 실제 업무를 수행하기 때문이다. 이에 에이전트가 '어디까지 할 수 있는지'를 정하는 권한, '언제 사람이 개입할지'를 정하는 승인, '어떤 판단과 행동을 했는지'를 추적하는 감사가 기업용 AI 운영의 핵심 요소로 떠오르고 있는 것이다.
신종회 아주대 교수는 “최근 기업의 AI 에이전트 도입이 본격화하면서 관련 보안 수요도 빠르게 늘고 있다”며 “AI 에이전트가 검색을 넘어 결제·발권 등 실제 업무까지 수행하면 부여된 권한 범위를 벗어나는 '월권'이 새로운 위험이 될 수 있는 만큼 정해진 범위 안에서만 행동하도록 통제하는 체계가 중요하다”고 말했다.
강성전 기자 castlekang@etnews.com
