2026년 9월, 실리콘밸리와 워싱턴 정가가 때아닌 인공지능(AI) 속도조절 논쟁이 달아올랐다. 그동안 AI 기술은 오로지 더 빨리, 더 크게를 향해 질주해왔다. 그런데 바로 그 질주의 선두에 서 있던 기업의 수장들이 스스로 브레이크를 밟자고 나선 것이다.
논쟁에 먼저 불을 지핀 것은 앤트로픽의 다리오 아모데이 최고경영자(CEO)가 지난 12일 “프런티어 AI의 발전 속도를 조절해야 한다(We Must Pace the Frontier)”는 글을 발표한 일이다. 그는 AI가 스스로 AI 연구와 개발을 가속하는 '재귀적 자기개선(recursive self-improvement)' 단계에 진입하고 있다는 점과 AI 에이전트들이 지시받지 않은 대상을 사이버 공격하거나 평가 시스템을 우회하려 한 사건을 근거로 들었다.
같은 날 샘 올트먼과 일론 머스크, 데미스 허사비스 등이 그 취지에 공감을 표시했다. 반면 메타의 마크 저커버그와 엔비디아의 젠슨 황은 조정된 감속에 반대하거나 회의적인 입장을 보였다. 마이크로소프트(MS)는 감속 여부와 별개로 AI가 인간의 수정과 종료 명령에 복종해야 한다는 행동규범을 제시하며 인간 통제의 중요성을 강조했다.
AI에 대한 위기감은 AI 에이전트가 인간의 통제 범위를 넘어 자율적으로 행동한 사례가 확인되면서 커졌다. 2026년 5월 오픈AI의 보안시험에 참여한 일부 에이전트는 허깅페이스 이용자의 인증정보를 탈취해 계정에 접근하고, 외부 시스템의 취약점을 탐색했다. 이어 7월에는 여러 에이전트가 시험환경의 통제를 우회해 허깅페이스 시스템에 무단으로 접근한 사건도 발생했다. 또 2025년 6월 앤트로픽이 공개한 통제된 가상실험에서는 클로드를 비롯한 여러 기업의 일부 모델이 자신의 교체를 막기 위해 가상 담당자를 협박하거나, 민감한 정보를 외부에 유출하는 행동을 보였다.
AI의 능력 측면의 발전도 위기감을 키웠다. 올해 9월 공개된 오픈AI의 GPT-6 아스트라(Astra)는 추상적 추론 능력을 평가하는 ARC-AGI-3에서 최고 조건 기준 99.9%를 기록하고, 고난도 수학 문제와 소프트웨어(SW) 개발·과학 연구·사이버보안·컴퓨터 조작 등에서도 기존 모델을 크게 앞서는 성과를 보였다. 아스트라는 정답을 제시하는 데 그치지 않고, 웹과 각종 SW를 직접 사용하면서 복잡한 목표를 계획하고 장시간에 걸쳐 수행할 수 있다는 점에서 사실상 범용인공지능(AGI) 시대의 시작으로 평가된다.
이런 상황을 고려하면 속도조절론에는 설득력이 있다. 재귀적 자기개선이 본격화하면 AI 발전 속도가 인간과 제도의 감독 능력을 앞지를 수 있다. 에이전트가 시험 환경의 경계를 넘어 외부 시스템에 접근한 사건은 통제 가능성이라는 최소 조건이 흔들릴 수 있다는 신호다. 또 AI로 인한 허위 정보와 여론 조작, 일자리 대체와 불평등 확대, 인지능력과 비판적 사고 약화는 결국 인간의 자율성을 침해함으로써 인간 존엄과 존재 의미의 위기를 가져올 수 있다. 이에 따라 피해가 발생한 뒤 대응하는 사후 규제만으로는 충분하지 않고, 위험한 능력이 확인되기 전에 평가하고 차단하는 예방적 장치가 필요하다는 주장에 힘이 실린다.
다만 속도 조절의 진정성에 대한 회의적 시선도 만만치 않다. 이미 기술·자본·데이터를 확보한 선도기업이 안전 규제를 강화하면 후발기업의 진입이 어려워져 먼저 정상에 오른 기업이 사다리를 걷어차는 효과가 발생할 수 있다. 또 기업공개를 앞둔 기업으로서는 막대한 반도체·데이터센터·연구개발 투자를 줄이고 기존 모델의 수익화에 집중하는 것이 기업가치를 높이는 데 유리하다. 결국 속도조절론에는 인류의 안전에 대한 우려뿐 아니라 경쟁자의 추격을 막고 투자비 부담을 낮추려는 사업적 계산이 섞여 있을 수 있다는 비판이 나온다.
한편 속도조절의 필요성이 있다고 해도 그 실현 가능성은 별개의 문제다. 개별 기업의 자율적 감속이나 특정 국가의 안전 규제는 가능하더라도, 전 세계 프런티어 AI 개발의 속도를 실질적이고 대칭적으로 조절하려면 미국과 중국 사이에 최소한의 합의와 검증 체계가 필요한데 이것이 쉽지 않다.
먼저 합의가 쉽지 않다. 트럼프 대통령은 강력한 AI 규제가 미국의 혁신을 제약하고 중국에 유리하게 작용할 수 있다며, AI 경쟁에서 선두를 유지해야 한다는 입장이다. 중국 역시 미국의 반도체 수출통제와 AI 규제를 안전 정책이 아니라 자국의 기술 발전을 막기 위한 견제 수단으로 본다. 만일 양국이 합의하더라도 상대방이 몰래 개발을 계속할 가능성도 있기 때문에 누구도 먼저 속도를 늦추려 하지 않는다. 결국 기술패권 경쟁과 상호 불신이 결합하면서 AI 감속은 딜레마에 빠지게 된다.
검증도 문제다. 핵무기는 핵물질과 실험 흔적을 추적해 감축 합의를 검증할 수 있지만, AI는 데이터센터 안에서 은밀하게 개발할 수 있기 때문에 검증이 어렵다. 핵무기는 주로 국가가 개발·보유하지만 AI는 수많은 기업·대학·연구기관이 개발한다. 모델과 알고리즘은 복제·이전하기도 쉽고, 공개된 연구와 오픈소스 모델을 이용해 다른 주체가 개발을 이어갈 수도 있다.
결국 AI 속도조절은 인류의 안전이라는 측면에서는 설득력을 갖지만, 그 실현 가능성은 국제적 신뢰와 검증 수단의 부족으로 제약이 크다. 다만 AI 개발 감속에 합의하지 못하더라도 AI가 핵무기 운용이나 자율적 사이버공격에 관여하지 못하도록 제한하고, 중대한 AI 사고 정보를 상호 공유하며, 일정 수준 이상의 위험 모델을 공동 기준에 따라 평가하는 방안은 논의될 수 있다. 또 각국이 규제 도입을 통해 독립적인 모델 평가, 고위험 기능의 단계별 배포, AI 에이전트의 접근 권한 제한, 중대한 사고의 보고 의무, 인간에 의한 긴급정지 장치(kill switch) 논의는 계속될 것으로 예상된다.
실제 최근 오픈AI, 앤트로픽, 구글 딥마인드 등은 기업들이 비용을 부담하되 독립 전문가가 첨단 모델을 출시 전에 평가하고, 통제 이탈 등 안전사고를 조사하며, 공통 안전기준을 마련하기 위해 금융산업의 자율규제기구와 유사한 AI 안전감독기구 설립을 논의하고 있다.
지난 24일 열린 미중 정상회담에서는 트럼프 대통령은 AI 개발을 제한하지 않고 현 상태를 유지하며 미국의 기술우위를 이어가겠다는 입장을 밝혔다. 시진핑 주석은 AI를 발전시키되 항상 인간의 통제 아래 두고 국민에게 이익이 되도록 관리해야 한다고 강조했다. 양국은 개발 감속에는 합의하지 않았지만, AI 위험을 논의하는 '미·중 초지능 대화'와 중대한 사고 발생 시 직접 소통하는 연락채널을 설치하기로 했다.
이런 상황에서 한국이 불확실한 글로벌 감속 흐름을 믿고 먼저 개발 속도를 늦추는 것은 기술 격차를 더 벌리는 결과로 이어질 수 있다. 한국에 필요한 것은 프런티어 모델 개발을 통해 경쟁력을 끌어올리면서 위험을 통제할 안전장치를 함께 갖추는 안전한 가속이다.
현재 빅테크의 주요 모델과의 격차가 줄어들지 않는 상황에서 여러 개의 독자 파운데이션 모델 전략을 추진하는 것은 글로벌 경쟁을 포기하는 것과 다름없다. 1개의 집중된 거버넌스 하에서 프런티어 모델 개발을 추진하는 것을 검토해야 한다. AI 기본법상 규제 등 안전성 규제는 계속 논의하되, 기술 발전 속도에 비례하는 규제가 될 수 있도록 유의해야 한다. EU도 고위험 AI 규제 시행을 내년 말 연기한 상황에서 한국이 먼저 전면적 AI 기본법 시행을 서두를 필요는 없다.
이성엽 고려대 기술경영전문대학원 교수·한국정보통신법학회장 dysylee@korea.ac.kr
〈필자〉고려대 법학과, 서울대 행정대학원, 미국 미네소타대 로스쿨을 졸업한 후 미국 뉴욕주 변호사 자격을 취득했고, 서울대에서 법학박사 학위를 받았으며 하버드 로스쿨 방문학자를 거쳤다. 1991년 제35회 행정고시 출신으로 정보통신부, 국무조정실과 김앤장 법률사무소를 거쳐 고려대 기술경영전문대학원 교수로 재직 중이다. 한국정보통신법학회 회장, 한국데이터,인공지능법정책학회 명예회장을 맡고 있고, 고려대 기술법정책센터장/데이터·AI법센터 대표를 겸하고 있다. 국가행정법제위원회 위원, 국가데이터정책위원회 위원, 개인정보보호위원회 규제심사위원장 및 국가AI전략위원회 자문위원으로 활동하고 있다.
