인공지능(AI)이 마침내 모니터 화면을 깨고 현실세계로 튀어나왔다. 지금까지의 AI가 방대한 문서를 요약하고 기획안을 써주는 '분석형 AI(Analytical AI)'였다면, 이제는 스스로 판단해 물리적인 움직임을 만들어내는 '행동하는 AI'의 시대가 본격화되고 있다.
과거의 AI가 “화재가 발생할 확률이 높습니다”라고 인간에게 조언하는 '비서'에 불과했다면, 지금은 스스로 가스 밸브를 잠그고 로봇 팔을 움직여 사람의 일을 대신하는 '실행 주체'가 되고 있다.
그런데 여기에서 주목할 만한 사실은 AI가 물리적 행동(Agentic AI, Physical AI)을 시작하면서 작동 오류로 인해 가져올 파장과 비즈니스의 대가(Cost)가 상상을 초월할 수 있다는 점이다.
최근 글로벌 비즈니스 현장에서 연이어 터지고 있는 물리적 AI 사고들은 통제되지 않은 기술의 위험성을 실감케 하고 있다.
지난 4월, 중국 산시성의 한 대학교 체육대회 개막식에서는 섬뜩한 돌발 상황이 발생했다. 축하 안무를 소화하던 휴머노이드 로봇이 갑자기 지정된 경로를 이탈하더니, 옆에 있던 여학생을 와락 껴안아버린 것이다. 드론 등 외부 신호 간섭에 의한 오작동으로 밝혀졌으나, 공공장소에서 물리적 힘을 가진 로봇이 순식간에 통제력을 잃을 수 있음을 보여준 아찔한 사건이었다.
도로 위의 상황은 아예 생명과 직결된다. 올해 초, 구글의 자율주행 로보택시 웨이모(Waymo)는 3000대 이상의 차량에 대해 전면적인 소프트웨어 리콜을 단행해야 했다. 산타모니카 학교 근처에서 보행 중인 어린이를 치는 사고가 발생했고, 정차 중인 스쿨버스를 불법 추월하거나 교차로 신호를 위반하는 등 복잡한 도로 환경에서 AI의 치명적인 '인지 오류'가 잇따라 발생했기 때문이다.
이 두 사건이 우리에게 던지는 교훈은 명확하다. 수많은 AI 기업이 실험실에서 거둔 '95%의 정확도'를 자랑하지만, 조명 변화, 전파 간섭, 사람의 돌발 행동 등 통제할 수 없는 변수가 난무하는 현실세계에서 5%의 예외 상황(Edge Case)은 곧 '5% 확률의 확정적 재앙'이 될 수 있다는 사실이다.
현장의 작업자들이 기계의 결정을 맹목적으로 신뢰하게 만드는 AI의 '그럴듯한 오류(Plausible Error)'는 단순한 버그가 아니다. 이는 인간의 비판적 사고를 마비시키고 기업에 천문학적인 법적·재무적 책임(Liability)을 묻는 뇌관이 될 수 있다. 완전히 멈추는 시스템보다 앞선 로보택시처럼 '일부만 틀리는 시스템'이 비즈니스 현장에서는 훨씬 더 치명적이다.
결국 AI는 새로운 시대의 '전기(Electricity)'다. 전기가 산업혁명을 이끌 수 있었던 것은 절연 전선과 누전 차단기라는 강력한 '신뢰 인프라'가 있었기 때문이다. 강력한 힘은 인간의 통제 안에 있을 때만 진보를 낳는다.
이런 점에서 “제어 가능성(Controllability)이 없다면 기업 도입도 없다”는 것이 행동형 AI 시대의 절대 명제가 돼야 한다.
향후 AI 비즈니스의 생사는 모델의 크기나 속도가 아니라, 얼마나 투명하게 책임질 수 있는 '권한 설계(Authority Architecture)'를 갖췄느냐에 달렸다. 사고가 난 뒤에 고치는 사후 패치 방식이 아니라, 설계 단계부터 위험을 차단하는 구조(Risk-by-Design)가 필요하다.
무엇보다 인간이 시스템 의사결정에 적극 개입하는 '휴먼 인 더 루프(HITL:Human-in-the-Loop)'는 이제 선택이 아닌 생존의 필수 조건이다. 1차 AI가 이상을 탐지하면 독립된 2차 AI가 가짜 알람을 필터링하고, 최종 물리적 실행의 승인은 반드시 인간이 내리는 '이중 검증 모델'이 도입돼야 한다. 아울러 기계가 상황 통제력을 잃는 즉시, 인간 작업자가 AI의 자율성을 박탈할 수 있는 '강제 중단(Override) 스위치'가 시스템 밑바닥에 단단히 하드코딩이 돼있어야만 한다.
글로벌 시장의 게임 룰이 완전히 바뀌었다. “누가 더 똑똑한 AI를 만들었는가”에서 “누가 더 안전하고 완벽하게 통제 가능한 AI를 설계했는가”로 패권의 중심축이 이동하고 있다.
대한민국은 제조, 반도체, 스마트시티, 교통 인프라 등 세계 최고 수준의 물리적 자산을 보유한 국가다. 이는 '신뢰할 수 있는 AI(Trustworthy AI)'를 테스트하고 고도화할 수 있는 완벽한 산업 요람이다. 우리가 남이 만든 거대 AI 모델에만 의존한다면 진정한 'AI 주권'은 요원하다.
이제 우리 기업들은 막연한 기술의 환상을 넘어, 기계가 오류를 일으켜도 대형 사고로 번지지 않게 즉시 멈춰 세우는 '확실한 안전 브레이크'를 시스템에 장착해야 한다. 우리가 선제적으로 설계한 AI의 통제력과 신뢰 기준(Trust Standards)을 글로벌 무대에 수출할 때, 비로소 진정한 국가 경쟁력과 새로운 비즈니스의 패권이 우리 손에 쥐어질 것이다.
최은수 인텔리빅스 대표·aSSIST 석학교수·CES2025·2026 혁신상 심사위원
