AI 논쟁은 단순히 '규제가 필요한가'의 수준을 넘어서고 있다. 이제는 프런티어 AI의 성능 향상 속도 자체를 늦춰 안전과 보안 검증이 따라잡을 시간을 확보해야 한다는 'AI 속도조절론'이 업계 내부에서 공개적으로 제기되고 있다.
앤트로픽의 다리오 아모데이 최고경영자(CEO)는 9월 '우리는 프런티어의 속도를 조절해야 한다(We Must Pace the Frontier)'라는 글을 통해 프런티어 AI의 발전 속도를 늦출 필요가 있다고 주장했다. AI 능력이 인간이 이를 이해하고 통제하는 속도보다 더 빠르게 향상될 수 있다는 이유다. 아모데이 CEO는 외부 제3자 평가기관이 기업 내부 수준으로 모델을 점검할 수 있도록 하고, 민주주의 국가들이 공통 안전기준을 마련하며, 장기적으로는 중국을 포함한 국제 공조가 필요하다고 제안했다. 오픈AI의 샘 올트먼을 비롯한 일부 AI 업계 인사들도 이에 공감을 표시했다.
'AI의 대부'로 불리는 요슈아 벤지오 교수도 AI 발전 속도가 인간의 통제 능력을 앞지를 수 있다며 기업의 자율적인 안전조치만으로는 부족하다고 경고해왔다. 최근에는 정부가 보다 강하게 개입해야 할 시점이 다가오고 있다고 주장했다. AI 경쟁이 안전보다 속도를 우선하는 방향으로 흘러서는 안 된다는 목소리가 연구자와 산업계 모두에서 커지고 있는 것이다.
말뿐인 논쟁도 아니다. 오픈AI는 지난 8월 차세대 모델 '아스트라(Astra)'가 자사의 준비 태세(Preparedness) 프레임워크상 최고 수준인 '크리티컬(Critical)' 사이버 역량에 도달할 가능성을 배제할 수 없다고 판단한 뒤 모델 스케일링 속도를 실제로 일시적으로 늦췄다. 그 기간 모니터링과 정렬, 보안 통제를 강화했다. 이후 공개된 아스트라는 실제로 오픈AI가 처음으로 크리티컬 사이버 역량에 도달했다고 평가한 모델이 됐다.
중요한 변화다. 지금까지 AI 경쟁의 질문은 '누가 더 좋은 모델을 더 빨리 만드는가'였다. 이제는 '우리가 모델을 안전하게 통제할 수 있는 속도보다 성능 향상이 더 빠른 것은 아닌가'라는 질문이 등장했다.
배경에는 실제 보안 사고가 있다. 오픈AI는 내부 보안 평가 과정에서 연구용 AI 시스템이 격리 장치를 우회해 외부 시스템에 접근한 사건을 공개했다. 최근에는 AI 에이전트가 사용자의 승인 없이 파일을 외부에 올리거나 스스로 안전장치를 우회하려는 행동 등 우려할 만한 사례도 추가로 보고하고 있다.
AI의 능력이 높아질수록 안전과 보안이 뒤따라가는 구조로는 위험을 관리하기 어렵다. AI 학습과 성능 향상 속도보다 보안 검증과 통제 능력이 뒤처진다면 개발 속도를 조절해서라도 격차를 좁혀야 한다는 것이 최근 논쟁의 핵심이다.
이는 AI 발전을 멈추자는 주장과는 다르다. 오히려 AI를 더 오래, 더 넓게 사용하기 위해 안전과 보안이 성능 향상과 같은 속도로 발전해야 한다는 주장에 가깝다.
AI 경쟁의 다음 관문은 성능만이 아니다. 성능을 얼마나 빨리 높일 수 있느냐보다 그 성능을 얼마나 안전하게 통제할 수 있느냐가 중요해지고 있다. 더 똑똑한 AI를 만드는 것만으로는 부족하다. 무엇에 접근할 수 있는지, 어떤 행동을 할 수 있는지, 잘못된 행동을 누가 감지하고 멈출 것인지까지 함께 해결해야 한다.
AI는 보호해야 할 대상이면서 동시에 공격을 수행할 수 있는 주체가 되고 있다. 보안이 담보되지 않은 AI는 결국 중요한 업무에 사용할 수 없다. 보안 없이는 AI도 없다.
공격자의 속도 역시 달라졌다. 크라우드스트라이크는 2025년 AI를 활용한 공격자의 활동이 전년보다 89% 증가했고, 침입 이후 다른 시스템으로 이동한 최단 관측 시간이 27초였다고 보고했다. 평균은 29분이다. 사람이 경보를 확인하고 판단한 뒤 대응하는 방식만으로는 따라가기 어렵다. AI가 공격하고 AI가 탐지하며 AI가 대응하는 'AI 대 AI' 보안 시대가 이미 시작되고 있다.
이 변화는 보안산업에 거대한 시장을 만들고 있다. 엔비디아의 젠슨 황은 지난 9월 미국 골드만삭스 기술 콘퍼런스에서 사이버보안을 'AI의 다음 주요 적용 분야'로 지목했다. AI가 프로그래밍을 자동화하면서 취약점을 찾아 악용하는 속도도 빨라지지만, 동시에 취약점을 찾아내고 수정하는 속도도 빨라진다는 설명이다. AI가 보안 문제와 보안 수요를 동시에 만들어낸다는 의미다.
AI 비서는 필요할 때 사용하지만 보안은 24시간 365일 쉬지 못한다. AI 에이전트가 늘어나면 사람의 계정뿐 아니라 AI의 신원과 권한도 관리해야 한다. 모델과 학습데이터, 프롬프트, 연결된 업무시스템과 외부 도구까지 새로운 보호 대상이 된다. 기존 시스템을 지키는 시장 위에 'AI를 지키는 보안' 시장이 새로 형성되는 것이다.
글로벌 사이버보안 시장은 2026년 약 2644억달러(약 355조원)에서 2031년 약 4719억달러(약 633조원)로 연평균 12% 이상 성장할 것으로 전망된다. 세계경제포럼(WEF)도 사이버 불안을 향후 주요 글로벌 위험 가운데 하나로 지속적으로 다루고 있다.
대한민국은 이 시장에서 특별한 조건을 갖고 있다. 금융, 통신, 유통, 행정, 제조가 높은 수준으로 디지털화돼 있고 AI 도입 속도도 빠르다. 2024년 기준 정보보호 기업은 1780개사, 산업 매출은 약 18조6000억원에 이른다. 국제전기통신연합(ITU)의 글로벌 사이버보안지수에서도 한국은 최상위 티어 1 국가군에 포함돼 있다.
또 하나의 자산은 실전 경험이다. 2025년 국내에서 신고된 사이버 침해사고는 2383건으로 3년 전보다 2배 이상 늘었다. 이를 실패의 기록으로만 읽으면 2383개의 문제가 된다. 하지만 공격 경로와 원인, 대응과 복구 과정을 분석하고 공유한다면 2383개의 학습 데이터가 된다.
자동차가 수많은 충돌시험을 통해 안전해졌고 항공산업이 사고와 아차사고를 철저히 분석하며 발전했듯 보안 역시 실제 공격에서 학습한다. 대한민국은 원하든 원하지 않든 세계에서 가장 치열한 사이버보안 테스트베드 가운데 하나가 되고 있다. 가장 많이 공격받는 경험을 가장 잘 방어하는 능력으로 전환할 수 있다면 약점만은 아니다.
그러나 시장의 문이 국내 기업에만 열리는 것은 아니다. 클라우드와 AI 확산, 망분리 정책 변화와 함께 글로벌 보안기업들은 통합 플랫폼과 방대한 위협정보를 앞세워 국내 시장을 확대하고 있다. 기업의 법적 책임이 무거워질수록 수요자가 개별 기능보다 검증된 글로벌 브랜드를 선택할 가능성도 커진다.
그렇다고 보안을 전적으로 외부에 의존할 수도 없다. 보안은 일반 소프트웨어와 성격이 다르다. 보안이 무너지면 통신과 금융, 행정과 산업 서비스까지 멈출 수 있다. AI 주권을 이야기한다면 이를 지키는 보안 역량의 주권도 함께 가져야 한다.
기술도 있고 기업도 있으며, 세계 어느 나라 못지않은 실전 경험도 있다. 위협과 기회가 같은 곳에서 자라고 있다. 문제는 그 경험과 기술을 하나의 산업 경쟁력으로 전환할 수 있느냐에 있다.
김인현 한국제로트러스트보안협회 회장(투이컨설팅 대표)
