오픈AI(OpenAI)가 자사 AI를 가장 집요하게 공격하는 존재로 사람 해커가 아니라 AI를 선택했다. 2026년 7월 15일 공개한 GPT-Red는 스스로 공격법을 발명해 GPT 모델을 무너뜨리도록 훈련된 자동화 레드팀 AI다. 레드팀(Red Team)이란 시스템을 실제로 공격해 약점을 미리 찾아내는 보안 훈련을 뜻한다. 사람 전문가의 공격 성공률이 13%에 그칠 때 GPT-Red는 84%를 기록했다. 내 챗봇이 낯선 웹페이지나 이메일을 읽는 순간 조용히 조종당할 수 있는 시대에, 이 AI가 그 허점을 사람보다 훨씬 빠르게 메우는 방패가 된다는 이야기다.
사람 성공률 13% 대 AI 성공률 84%
GPT-Red는 오픈AI가 지금까지 만든 자동화 안전 레드팀 모델 가운데 가장 강력한 공격 AI다. 오픈AI는 사람 레드팀 담당자와 GPT-Red에게 똑같은 조건을 주고 GPT5.1을 공격하게 했다. 결과는 한쪽으로 크게 기울었다. 사람 전문가는 전체 시나리오의 13%에서만 공격에 성공했지만, GPT-Red는 84%에서 성공했다. 여기서 쓰인 공격 시나리오는 GPT-Red가 훈련받은 상황과 전혀 다른 새 문제였는데도 이 정도 격차가 났다.
그림1. 연산량을 늘릴수록 벌어지는 GPT레드와 사람 레드팀의 공격 성공률 격차 (출처: OpenAI, GPTRed 논문 Figure 1)
숫자 6배 차이가 실감 나지 않을 수 있다. 사람 해커가 공격 하나를 며칠씩 다듬는 동안, GPT-Red는 같은 목표를 두고 수많은 변형을 만들어 던지고 실패하면 즉시 문장을 고쳐 다시 시도한다. 공격을 찾아내는 속도와 양 자체가 다르기 때문에, 사람이 발견할 취약점을 이 AI는 훨씬 빠르게 무더기로 쏟아낸다. 오픈AI가 굳이 사람 대신 AI 공격수를 키운 이유가 여기에 있다.
서로를 이기려 훈련하는 AI, 셀프 플레이의 원리
GPT-Red의 핵심 원리는 셀프 플레이(SelfPlay)다. 셀프 플레이란 공격하는 AI와 방어하는 AI를 동시에 훈련시키며 서로를 이기게 만들어 양쪽 모두 강해지게 하는 방식이다. 공격 AI는 방어 AI를 속이는 데 성공하면 보상을 받고, 방어 AI는 공격을 막아내면서 원래 업무까지 제대로 끝내면 보상을 받는다. 한쪽이 강해지면 다른 쪽은 더 강해질 수밖에 없는 구조다.
이 과정은 검객 두 명이 매일 겨루며 실력을 끌어올리는 장면과 비슷하다. 방어 AI가 특정 공격을 막는 법을 익히면, 공격 AI는 통하던 수법이 막혔으니 완전히 새로운 방법을 찾아야 한다. 반대로 공격 AI가 새 허점을 뚫으면, 그 실패 사례가 방어 AI에게는 더 어려운 훈련 문제가 된다. 오픈AI는 이 훈련에 자사 최대 규모의 후속 학습에 맞먹는 컴퓨팅 자원을 투입했으며, 안전성 향상만을 목적으로 사용된 컴퓨팅으로는 전례 없는 규모라고 밝혔다.
진짜 자판기를 턴 AI, 가격을 50센트로 바꾸다
GPT-Red의 실력은 시뮬레이션에 그치지 않고 실제 시스템에서 증명됐다. 오픈AI 사무실에는 AI가 운영하는 자판기 '벤디(Vendy)'가 있다. 벤디는 슬랙(Slack)으로 손님과 대화하고 재고를 관리하며 가격을 조정하고 물건을 주문하는 자율 에이전트다. 오픈AI는 GPT-Red에게 벤디 공격이라는 목표 세 가지를 줬고, GPT-Red는 세 가지를 모두 성공시켰다.
성공한 공격은 구체적이었다. 재고가 있는 비싼 상품 가격을 허용 최저가인 0.50달러로 바꿨고, 100달러가 넘는 새 상품을 주문하게 한 뒤 0.50달러에 팔도록 만들었으며, 다른 손님의 주문까지 취소시켰다. 방법은 자신이 보낸 메시지에 '신뢰할 수 있는 관리자가 보낸 것'이라는 가짜 정보를 붙이는 것이었다. AI 입장에서는 관리자의 지시로 보이니 순순히 따른 것이다. 이런 공격을 프롬프트 인젝션(Prompt Injection)이라 부르는데, AI가 읽는 데이터 속에 몰래 명령을 숨겨 원래 규칙 대신 공격자의 지시를 따르게 만드는 수법이다. 웹페이지, 이메일, 도구 응답 어디에나 숨길 수 있어 실제 서비스에서 가장 위협적인 공격으로 꼽힌다.
방패가 된 GPT-Red, GPT5.6의 실패율 0.05%
GPT-Red의 진짜 목적은 공격이 아니라 방어력 강화다. 오픈AI는 GPT-Red가 찾아낸 공격들을 훈련 데이터로 삼아 최신 모델 GPT5.6을 단련시켰고, 그 결과 GPT5.6은 GPT-Red의 직접 프롬프트 인젝션 공격 가운데 단 0.05%에서만 뚫렸다. 가장 어려운 직접 프롬프트 인젝션 평가에서 GPT5.6 솔(Sol)은 불과 4개월 전 최고 모델보다 실패 횟수를 6분의 1로 줄였다.
효과를 가장 선명하게 보여주는 사례가 '가짜 추론 과정(Fake ChainofThought)' 공격이다. 이는 GPT-Red가 스스로 발견한 신종 수법으로, AI가 마치 자기 생각인 것처럼 착각하도록 가짜 사고 과정을 심어 넣어 공격자의 명령을 자기 판단으로 실행하게 만드는 방식이다. 이 공격은 GPT5.1에서 95%가 넘는 성공률을 기록했지만, GPT-Red로 단련된 GPT5.6 솔에서는 성공률이 10% 미만으로 떨어졌다. 공격을 만든 AI가 곧 그 공격을 막는 백신이 된 셈이다. 다만 오픈AI는 이렇게 위험한 공격 능력이 외부로 새어 나가지 않도록 GPT-Red를 실제 배포 모델과 완전히 분리해 운영한다고 강조했다.
스스로 강해지는 안전, 남은 질문
GPT-Red가 그리는 큰 그림은 '안전의 선순환'이다. 오늘의 GPT-Red가 내일의 GPT를 더 튼튼하게 만들고, 더 튼튼해진 GPT는 다시 더 강한 공격 AI를 키우는 학습 재료가 된다. 모델이 강해질수록 안전장치도 자동으로 함께 강해지는 구조를 만들려는 시도다. 사람의 손을 거치지 않고도 안전성이 확장될 수 있다면, 빠르게 발전하는 AI 성능을 안전이 따라잡지 못하던 오랜 숙제가 풀릴 가능성이 있다.
다만 오픈AI 스스로도 견고성은 아직 해결된 문제가 아니라고 못 박았다. GPT-Red가 사람보다 많은 공격을 찾아냈다고 해서 사람보다 모든 면에서 낫다는 뜻은 아니며, 사람은 AI가 미처 상상하지 못한 완전히 새로운 유형의 공격을 발견할 수 있다. 공격하는 AI가 방어하는 AI를 훈련시키는 구조가 예상치 못한 사각지대를 남길 가능성도 두고 볼 필요가 있다. 분명한 것은, 내 챗봇이 읽는 이메일 한 줄, 웹페이지 한 구석에 숨은 함정을 이제는 또 다른 AI가 24시간 먼저 찾아다니기 시작했다는 사실이다.
FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)
Q. 프롬프트 인젝션이 정확히 무엇인가요?
AI가 읽는 데이터 안에 몰래 명령을 숨겨, AI가 원래 규칙 대신 공격자의 지시를 따르게 만드는 공격입니다. 이메일이나 웹페이지, 도구 응답 어디에나 숨길 수 있어 실제 AI 서비스에서 가장 위협적인 공격으로 꼽힙니다.
Q. GPT-Red가 유출되면 해커에게 악용될 위험은 없나요?
오픈AI는 GPT-Red를 실제 배포하는 모델과 완전히 분리해 내부 전용으로만 운영합니다. 공격 능력은 외부로 나가지 않고, 그 공격을 막아내는 견고성만 실제 모델에 반영하는 방식입니다.
Q. 이 기술이 제가 쓰는 챗GPT에도 도움이 되나요?
네. GPT-Red가 찾아낸 공격들로 훈련된 GPT5.6은 프롬프트 인젝션 공격 실패율을 이전 모델의 6분의 1 수준으로 줄였습니다. 사용자가 접하는 챗봇이 악의적으로 조종당할 위험이 그만큼 낮아진다는 의미입니다.
기사에 인용된 리포트 원문은 OpenAI에서 확인할 수 있다.
리포트명: GPTRed: Automated Red Teaming via Self-Play at Scale
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.
■ 이 기사는 AI 전문 매체 ‘AI 매터스’와 제휴를 통해 제공됩니다. (☞ 기사 원문 바로가기)
AI 리포터 (Aireporter@etnews.com)
