AI를 잘 쓰는 기업과 못 쓰는 기업의 차이는 어떤 AI 툴을 골랐느냐가 아니다. 딜로이트(Deloitte)가 2026년 3월 발표한 'Tech Trends 2026' 보고서는 기업의 AI 격차가 기능이나 모델 성능이 아니라 '조직의 학습 속도'에서 벌어진다고 진단한다. 현재 전 세계 주간 AI 사용자는 약 8억 명으로 전 세계 인구의 10%에 달하지만, 에이전틱(Agentic) AI 전략을 실제로 수립한 기업은 35%에 불과하다. AI를 도입한 기업이 다음으로 직면하는 질문은 하나다. "이 기술을 조직 전체에 얼마나 빨리 녹여낼 수 있는가?"
화면을 벗어난 AI, 이제 공장 바닥에서 움직인다
피지컬 AI(Physical AI)란 텍스트나 이미지를 생성하는 데 그치지 않고, 물리적 현실 공간에서 스스로 인지하고 판단하며 행동하는 AI 시스템을 말한다. 기존 산업 로봇이 사전에 입력된 동작만 반복했다면, 피지컬 AI는 실시간으로 주변 환경을 읽고 예상치 못한 상황에서도 스스로 대응하는 적응형 지능(Adaptive Intelligence) 시스템으로 진화했다.
이미 현장 배치 단계에 진입한 사례들이 등장하고 있다. 아마존(Amazon)은 100만 대 이상의 로봇을 운영하며 딥플릿 AI(DeepFleet AI)로 물류 이동 효율을 10% 개선했다. BMW는 공장 내에서 신차가 조립 라인과 테스트 구간을 스스로 주행하는 자율 생산 환경을 구축했다. 웨이모(Waymo)의 로보택시는 유료 주행 1,000만 건을 넘어섰다. 이 수치들이 단순한 기술 시연이 아니라 실제 운영 단계임을 보여준다는 점이 중요하다. 단 1,000만 건의 자율 주행이 누적되면, 그것은 곧 수백만 명의 운전 데이터이자 다음 세대 모델을 학습시키는 연료가 된다.
보고서에 따르면 2035년까지 산업 현장에 배치되는 휴머노이드 로봇은 200만 대에 이를 것으로 보인다. 단기적으로는 물류·제조·헬스케어, 장기적으로는 가정·돌봄·소비자 시장이 핵심 성장 무대가 될 가능성이 있다. 다만 시뮬레이션과 현실 사이의 성능 격차, 안전 책임 소재, 국가별 규제 차이 같은 7가지 구조적 과제가 여전히 남아 있어 전면적 확산까지는 시간이 더 필요할 것으로 보인다.
에이전틱 AI 파일럿이 대부분 실패하는 이유
에이전틱 AI(Agentic AI)란 사람이 일일이 명령을 내리지 않아도 스스로 목표를 설정하고 판단하며 업무를 수행하는 자율적 AI 시스템이다. 가트너(Gartner)는 2028년까지 기업 업무 의사결정의 15%가 자율화되고, 기업 소프트웨어의 33%가 에이전트 기반으로 전환될 것으로 전망한다.
그런데 딜로이트 조사에 따르면 에이전틱 AI를 실제 운영 단계까지 진입시킨 기업은 단 11%에 그친다. 전략을 수립한 기업은 42%이지만, 파일럿을 넘어 현업에 완전히 정착한 사례는 극소수다. 왜 이런 간극이 생기는 걸까.
핵심 원인은 기술 자체가 아니라 기존 운영 방식과의 충돌이다. 기존 엔터프라이즈 시스템은 사람이 순서대로 처리하는 방식을 전제로 설계되었는데, 에이전트는 24시간 병렬로 작동하며 동시에 여러 판단을 내린다. 인간 중심의 프로세스를 그대로 둔 채 에이전트를 얹으면, 오히려 검증·조정·후처리 업무가 늘어나는 '워크슬롭(workslop)' 현상이 발생한다. 자신의 업무 흐름을 떠올려 보자. 하루에 수십 번 주고받는 이메일, 결재, 보고서 흐름이 모두 사람의 순서를 전제로 설계되어 있다면, 에이전트가 아무리 빠르더라도 그 구조 안에서는 제대로 작동하기 어렵다.
성공 기업들의 공통점은 '자동화'가 아니라 '운영 재설계'를 택했다는 것이다. HPE는 내부 성과 평가 프로세스를 전면 재설계해 다중 에이전트로 구성된 '알프레드(Alfred)'를 도입했고, 모데르나(Moderna)는 CHRO와 CTO 역할을 통합해 인간과 AI 에이전트가 함께 업무를 계획하는 구조를 만들었다. 에이전트 도입은 결국 '노동'을 재정의하는 일이며, 적절한 지점에 인간 감독자를 두는 설계가 핵심이다.
클라우드만 믿다간 AI 비용 폭탄 맞는다
AI 추론(Inference) 비용은 2년 전 대비 280배 하락했다. 그러나 역설적으로 기업들의 총 AI 지출은 폭발적으로 늘고 있다. 이유는 간단하다. 비용이 싸지자 사용량이 훨씬 빠르게 증가했기 때문이다. 특히 에이전틱 AI가 상시 작동하면서 API 호출이 연쇄적으로 발생하고, 일부 기업은 월 AI 비용이 수천만 달러 수준까지 증가하고 있다.
이 상황에서 클라우드 일변도의 인프라 전략은 한계에 부딪힌다. 딜로이트는 클라우드 비용이 온프레미스(자체 서버) 구축 비용의 60~70%를 초과하는 시점을 전략적 판단의 기준점으로 제시한다. 즉, 무조건 클라우드가 낫다는 공식은 더 이상 통하지 않는다.
대안은 워크로드별 3계층 하이브리드 전략이다. 유연성과 확장성이 필요한 실험적 단계는 퍼블릭 클라우드, 대규모 상시 운영되는 추론 작업은 비용과 보안을 통제할 수 있는 온프레미스, 자율주행이나 제조 현장처럼 10밀리초 이하의 즉각 반응이 필요한 환경은 엣지(Edge)에서 처리하는 방식이다. 어디에나 클라우드를 쓰는 것이 아니라, 각 업무의 성격에 맞는 최적의 실행 지점을 찾는 것이 2026년 AI 인프라 전략의 핵심이다. 딜로이트는 이를 위한 전용 환경으로 'AI 팩토리(AI Factory)' 구축을 제안한다. AI 팩토리란 GPU, CPU, NPU를 혼합 구성하고 AI가 즉시 이해할 수 있는 데이터 구조와 초저지연 네트워크를 갖춘 AI 전용 목적형 인프라 스택이다.
CIO는 더 이상 IT 관리자가 아니다
AI 네이티브(AI-Native) 조직이란 AI를 특정 부서의 도구로 활용하는 것을 넘어, 전략·프로세스·운영·인재 전 영역에 AI를 내재화한 조직 구조를 말한다. 딜로이트 조사에서 향후 5년 내 78%의 기술 리더가 아키텍처 워크플로에 AI 에이전트를 광범위하게 통합할 계획이라고 답했고, 기술 예산에서 AI가 차지하는 비중은 평균 8%에서 13%로 이미 상승했다.
가장 눈에 띄는 변화는 CIO(최고정보책임자)의 위상이다. CIO의 65%가 이제 CEO에게 직접 보고하는 구조로 전환되고 있으며, 기술 조직은 비용 센터에서 수익 창출의 주체로 변모하고 있다. AI 아키텍트(AI Architect) 수요는 30%에서 58%로 급등했고, 생성형 AI에 대응하는 인력을 확대하겠다는 기업도 약 70%에 달한다.
조직 재편 방향도 구체적이다. 고정된 프로젝트 단위가 아니라 개발·데이터·비즈니스가 통합된 '크로스펑셔널 스쿼드(Cross-functional Squad)' 방식으로 운영 모델이 바뀌고, 인간과 에이전트가 함께 협업하는 하이브리드 팀이 기본 단위가 된다. 딜로이트는 이를 위한 거버넌스 프레임워크로 활동과 의사결정 흐름을 가시화하는 맵(Map), 성과와 리스크를 정량 측정하는 메저(Measure), 품질·윤리·보안을 지속 모니터링하는 모니터(Monitor)의 3M 체계를 제안한다.
AI가 공격 무기가 되는 시대의 사이버 보안
AI 보안의 본질적 문제는 새로운 위협이 등장했다는 데 있지 않다. 기존 보안 방식이 처음부터 AI를 전제로 설계되지 않았다는 데 있다. 스탠퍼드대(Stanford University) 산미 코예조 교수에 따르면, AI는 데이터와 연산이 결합된 구조로 표준 트래픽과 유사해 기존 방식으로는 탐지 자체가 어렵다.
위협의 범위는 데이터·모델·애플리케이션·인프라 전 계층에 걸쳐 있다. 학습 데이터 조작을 통한 모델 왜곡, 프롬프트 인젝션(Prompt Injection) 공격, 에이전틱 시스템의 권한 관리 실패, 단일 인프라 침해가 다중 시스템 붕괴로 확산되는 시나리오가 현실화되고 있다. 특히 관리자가 바뀌거나 프로젝트가 종료된 후에도 권한을 가진 채 방치된 AI 에이전트, 이른바 '고아 에이전트(Orphaned Agents)'는 새로운 보안 사각지대로 부상하고 있다.
딜로이트가 제시하는 방어 전략의 핵심은 회복 탄력성(Proactive Resilience)·속도(Velocity)·책임(Accountability)의 유기적 통합이다. 인간이 사후에 탐지하고 대응하는 방식은 이미 한계에 도달했고, AI의 기계적 속도로 공격하는 위협에는 '레드 에이전트(Red Agent)'를 활용한 선제적 취약점 시뮬레이션과 자동 대응 시스템으로 맞서야 한다. CISO(최고정보보안책임자)의 92%가 패스워드 없는 하이브리드 인증 체계로 전환 중이라는 점도 이 흐름을 반영한다.
기술보다 빠른 조직이 이긴다는 것의 의미
딜로이트가 이번 보고서에서 반복해서 강조하는 메시지는 하나다. "기술의 진화를 넘어, 조직의 학습 속도가 격차를 만든다." 전화가 대중화되는 데 50년, 인터넷은 7년이 걸렸다. 생성형 AI는 수개월 만에 수억 명의 사용자를 확보했다. 기술의 진화 속도가 조직의 학습 속도를 압도하는 시대에 후발주자는 단순한 추격이 아니라 구조적 열세에 직면한다는 것이 이 보고서의 핵심 경고다.
흥미로운 것은 보고서가 제시하는 성공 원칙이 기술 우위와는 거리가 멀다는 점이다. 딜로이트는 성공하는 리더의 공통점으로 화려한 기술 도입이 아니라 실제 비즈니스 문제에서 출발하는 것, 소규모 개념 증명(PoC)의 반복이 아니라 핵심 난제에 자원을 집중하는 것, 그리고 완벽한 이론보다 빠른 실행과 학습을 택하는 것을 꼽는다. AI 투자의 93%가 기술에 집중되고 사람에는 7%만 투자되는 현재의 불균형이 지속된다면, 기술은 도입했지만 조직은 그대로인 기업들이 얼마나 실질적인 성과를 낼 수 있을지는 두고 볼 필요가 있다.
FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)
Q. 에이전틱 AI(Agentic AI)가 일반 AI 챗봇과 다른 점은 무엇인가요? 일반 AI 챗봇은 사용자가 질문을 입력해야 답변을 내놓는 반응형 도구입니다. 반면 에이전틱 AI는 목표가 주어지면 스스로 계획을 세우고, 필요한 도구를 선택하며, 단계별 작업을 자율적으로 실행하는 시스템입니다. 사람이 일일이 지시하지 않아도 복잡한 업무를 처음부터 끝까지 처리할 수 있다는 점에서 차이가 있습니다.
Q. AI 도입을 시도했는데 실제 성과로 이어지지 않는 이유는 무엇인가요? 딜로이트 보고서에 따르면, 에이전틱 AI 파일럿을 실제 운영 단계까지 진행시킨 기업은 11%에 불과합니다. 기술 자체의 문제보다는 기존 업무 방식을 그대로 유지한 채 AI를 얹으려 하기 때문인 경우가 많습니다. AI가 제대로 작동하려면 기존 프로세스를 AI에 맞게 재설계하는 과정이 선행되어야 합니다.
Q. 중소기업도 AI 인프라 전략을 고민해야 하나요? 규모와 무관하게 AI 사용량이 늘어날수록 인프라 비용 구조를 점검할 필요가 생깁니다. 모든 기능을 클라우드에서 처리하는 방식이 초기에는 편리하지만, 사용량이 일정 수준을 넘어서면 비용이 급증할 수 있습니다. 어떤 업무를 어디서 처리할지 기준을 세우는 것이 규모와 상관없이 AI를 지속 가능하게 운용하는 출발점입니다.
기사에 인용된 리포트 원문은 딜로이트 인사이트에서 확인할 수 있다.
리포트명: Tech Trends 2026 기업의 미래를 결정지을 AI 시대 5대 핵심 동력
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.
■ 이 기사는 AI 전문 매체 ‘AI 매터스’와 제휴를 통해 제공됩니다. (☞ 기사 원문 바로가기)
AI 리포터 (Aireporter@etnews.com)
