인공지능(AI) 경쟁의 본질이 바뀌고 있다. 2020년 오픈AI의 GPT-3가 등장하면서 생성형 AI에 관한 관심이 폭발적으로 확산된지 5년이 지났다. 지금 AI의 초점은 '빠르게 생각하기'에서 '더 오래, 더 깊이 생각하기'와 동시에 '스스로 점검하기'로 전환되고 있다.
지난 몇 년간 AI는 방대한 데이터를 학습하고 막대한 연산 자원을 쏟아부으면 더 영리해지는 발전 방정식을 따랐다. 그런데 최근 들어 이런 발전 방식이 한계에 부딪히기 시작했다. AI 모델이 커질수록 전력 소모 역시 급격히 증가하고, 답을 내놓는 시간 역시 길어졌다. 이 과정의 문제는 비용이다. 복잡한 문제를 풀기 위해 AI는 더 큰 모델을 만들어 생각하는 단계를 늘린다. 그런데 생각하는 단계가 늘어날수록 AI 모델 내부에서는 계산량이 급격히 증가하고 이에 따라 전력 사용량 역시 급격히 증가한다. 동시에 답을 도출하는 시간 역시 길어진다. 더 좋은 답을 찾기 위하해 AI는 이 과정을 반복할 것이고 이는 더 많은 자원과 비용이 소요된다.
결국 이런 AI 서비스를 지속적으로 사용할 수 있을까 하는 질문을 던지지 않을 수 없다. 해결책은 AI가 답을 도출하는 과정을 얼마나 효과적으로 운영할 것인가가 중요한데, 이 중심에 있는 것이 '추론 기술'이다. '정답'보다 '정당화된 주장'을 생산하는 방향으로 AI의 가치가 이동함에 따라 설득력 있는 논증, 근거의 연결, 반례 처리 능력이 AI 기술의 핵심이 되고 있다. 초거대 모델의 학습은 이미 자본과 전력의 상한에 부딪히고 있다. 반복되는 추론이 AI 비용을 폭등시키고 데이터센터 전력과 부지 경쟁이 곧 산업 경쟁이 됐다. AI 인프라 투자가 전력, 부지, 냉각을 전제로 한 물리 인프라 확장 국면으로 들어섰다는 것이 이를 증명한다. 추론량 역시 구조적으로 늘고 있다. 딜로이트는 2026년 AI 연산에서 추론 비중이 약 3분의 2까지 커질 것으로 전망한다.
추론 중심의 AI 기술은 성능의 정의를 바꾼다. 그동안 AI의 성능 지표로 쓰였던 정확도만으로는 추론 중심 시대에 적합하지 않다. 단순 정확도보다 '추론 과정의 견고함' '안전한 실패' '편향과 취약성' 평가가 중요해진다. 지연 시간, 초당 처리량, 전력 효율 등 총소유비용이 중심 지표가 되어 AI 모델은 무한 대형화를 벗어나 경량화와 모듈화를 지향한다. 소프트웨어(SW)는 하드웨어(HW)에 맞춘 최적화가 핵심 역량이 된다. 그리고 데이터센터, 네트워크, 단말을 잇는 분산 추론이 기본적인 구조가 된다. 즉 AI는 단일 모델 성능 경쟁을 넘어, 데이터-모델-인프라-정책을 엮는 '시스템 공학'으로 발전 방향이 이동한다. 더 큰 모델만이 아니라 더 잘 검증하고, 더 안전하게 연결하며, 더 책임 있게 기록하는 체계가 핵심이 되는 것이다.
이에 따라 산업 지형도 재편될 것으로 전망된다. 우선 반도체 시장은 범용 GPU 중심의 시장에서 추론 특화 가속기와 클라우드 맞춤형 ASIC 및 단말 NPU가 공존하는 다극 체제로 이동한다. 둘째, 추론 중심 AI는 '모델 판매'보다 '업무 맥락에서의 추론 제공(추론 as a Service)'으로 수익 구조를 이동시킨다. 예컨대 고객지원, 연구개발, 개발자 생산성 등에서 추론이 직접 비용과 성과를 매개하는 서비스로 상품화된다. 셋째, 통신 산업은 회선 판매를 넘어 AI로 운영되는 네트워크와 데이터가 생성되는 현장의 장치에서 AI 모델을 직접 실행해 데이터를 처리하고 추론 결과를 도출하는 추론 플랫폼으로 재정의 된다. 이러한 변화는 경쟁의 단위를 '반도체 칩 한 개'에서 다른 축으로 변화시킬 것으로 전망된다. 넷째, 향후 경쟁의 단위는 SW 생태계, 첨단 패키징과 고대역폭 메모리(HBM) 및 전력 설계 기술이 연동된 복합 공급망, 그리고 클라우드·통신·단말 기업 간 연합이 될 것이고 이러한 조합의 성과가 승패를 가를 것으로 전망된다.
즉, 추론 중심 AI 기술은 산업을 수직 통합과 동맹 경쟁을 심화시킬 뿐만 아니라 표준과 규제까지 포함하는 총력 경쟁의 형식으로 바꿀 것으로 전망된다. 이러한 산업 경쟁 양상의 변화와 더불어 AI 리스크의 변화로 오류의 사회적 비용 확대가 발생하게 된다. AI를 이용한 추론이 사회 의사결정으로 연결될수록, 환각, 편향, 부정확한 권고는 곧 법적·재정적 책임으로 이어질 수 있다. 이는 기술의 문제가 아니라 사회적 신뢰 인프라의 문제로 이어질 수 있다는 것을 의미한다.
이러한 변화에 대응해야 하는 우리나라는 강점도 있지만 안심할 수 없는 상황에 놓여있다. 우리의 강점은 메모리 반도체 특히 HBM, 세계적 수준의 통신 인프라, 빠른 서비스 상용화 역량 등이다. 그러나 앞에 놓여있는 과제도 만만하지 않다. 가장 중요한 과제는 추론 기술의 개발 경쟁뿐만 아니라 전력 인프라 확장, 데이터센터에 대한 사회적 협상 문제, AI 인프라의 신속한 투자와 공공 인프라로서의 통제와 책임 간 충돌, 값싼 전기와 저탄소 전기 간의 갈등, 각종 인허가 등 관련된 규제 불확실성의 제약 속에서 '추론 인프라를 얼마나 넓게, 얼마나 빨리 구축할 것인가'이다.
이에 더해 2026년 1월 22일 시행된 '인공지능 발전과 신뢰 기반 조성 등에 관한 기본법'은 AI 산업 진흥과 신뢰 기반을 구축하며, 고영향 AI에 대한 투명성과 안정성 등 운영 과정에서 책임을 요구한다. 이는 곧 추론 단계의 품질과 안전 등 신뢰에 대한 책임이 산업 경쟁력의 일부가 되었음을 의미한다.
이러한 상황에서 우리나라가 취해야 할 전략은 첫째, 추론 AI가 작동할 수 있는 물리적 기반인 데이터센터-전력 인프라-통신인프라를 연계하여 효과적으로 구축하고, 규칙과 책임을 명확하게 하여 안전하고 신뢰할 수 있는 국가 인프라 운영체계를 만드는 것이다. 추론 중심 AI시대의 인프라는 단순한 정보기술(IT) 장비가 아니라, '새로운 지식·결정 시스템'을 사회가 믿고 쓸 수 있도록, 물리적 기반의 공공성을 확보하고, 안전·책임·공정의 규칙을 세워 누구나 접근할 수 있고, 사회가 통제할 수 있는 형태의 공동 운영체계를 만드는 것이기 때문이다. 둘째, R&D의 무게 중심을 학습에서 데이터센터-네트워크-단말로 확장하는'추론 최적화'로 이동시켜야 한다. 단순히 칩 기반 가속기 개발을 넘어, SW·모델 최적화·메모리와 패키징·네트워크 결합을 R&D 프로그램의 한 단위로 묶어야 한다. 셋째, 통신 산업을 AI 인프라의 중심축으로 격상해야 한다. 6G는 '네트워크 전 구간에 AI 적용'을 핵심으로 제시하고 있으며, 상용망에서 AI-RAN을 검증하는 실증도 진행되고 있다. 통신사업자는 데이터 생성 현장에서의 거점 확보와 고객 접점을 활용해'저지연 추론'과 '산업 특화 AI'의 유통망이 될 수 있다. 넷째, 국민 삶의 영역에서는'신뢰·안전·포용'이 추론 인프라의 확장 속도를 결정한다. 딥페이크·보이스피싱·차별적이고 불투명한 의사결정은 AI의 사회적 수용성을 훼손할 수 있기 때문이다. 따라서 AI 기본법의 하위법령과 가이드라인을 현장 적용형으로 정교화하고, 과도한 불확실성을 최소화하는 원스톱 지원체계를 강화해야 한다. 다섯째, 전력·요금·규제 체계의 미세조정이 필요하다. 추론 중심 인프라는 '항상 켜져 있는 AI'를 전제로 하므로, 데이터센터 전력 수급, 통신망의 에너지 최적화, 공공·산업 실증 조달을 하나의 패키지로 설계해야 한다. 마지막으로 추론 중심 AI에 관련된 규제는 기술을 막는 장벽이 아니라 시장을 키우는 신뢰의 장치가 되어야 한다.
추론 중심 AI의 등장은 반도체의 세대교체와 같은 기술의 고도화만을 의미하지 않는다. 그것은 지식과 의미, 책임, 인간의 행위성에 대한 사회적 합의가 재구성되는 과정이다. 또 AI가 산업과 일상으로 확산되는 속도, 그리고 그 확산이 지속 가능한지를 가르는 국가 인프라의 재설계가 필요하다. 지금 필요한 것은 거창한 구호가 아니라, 추론 품질과 안정성을 평가할 수 있는 실증과 제도, 통신망과 데이터센터를 잇는 표준과 투자, 보안·거버넌스·투명성에 기반한 국민이 신뢰할 수 있는 운영체계 등이다. 우리나라가 이 전환을 선도하여, '메모리·통신 강국'에서 'AI 인프라 강국'으로 도약하기를 기대한다.
신민수 한양대 경영학부 교수 minsooshin@hanyang.ac.kr
〈필자〉고려대 통계학과, 한국과학기술원 경영과학과 석사를 거쳐 영국 캠브리지대에서 공학박사 학위를 받았다. 한국전자통신연구소(ETRI) 연구원, 선경경제연구소(현 SK경영경제연구소) 선임연구원, 삼성경제연구소 수석연구원을 거쳐 한양대 경영학부 교수로서 BIS(Business Intelligence & Strategy) Lab을 이끌고 있으며, 한국미디어경영학회 학회장을 역임했다. 공학과 경영학 분야 지식을 두루 갖춘 통신·디지털 분야 전문가로 손꼽힌다.
