최근 사내 프로젝트로 바이브 코딩 기반 인공지능(AI) 뉴스 에이전트를 구축했다. 첫 느낌은 놀라움이었다. 비개발자도 프롬프트만으로 원하는 서비스를 구현할 수 있게 된 것이다. 예전엔 전문 인력과 예산이 필요했던 일이다.
문제는 그 다음, 배포와 운영 단계였다. 서비스는 빠르게 만들었지만 오류를 잡고 권한을 관리하고 운영 상황을 점검하는 책임은 사람에게 남는다. 또 하나의 문제는 '토큰'이다. 사용자가 질문을 던질 때마다, AI가 한 번 더 추론할 때마다 토큰 비용이 쌓인다. 사용자가 늘고 호출이 많아질수록 청구서가 눈덩이처럼 불어난다.
최근 현장에서 만난 기업들도 비슷한 고민을 겪고 있다. 인공지능 전환(AX) 성과를 보여주기 위해 사내 AI 활용을 장려하면서 부서마다 챗봇과 업무 비서, 에이전트, 자동화 도구를 만들어 내고 있다. 늘어난 AI 서비스를 관리하고 토큰 비용을 통제하며, 투자 효과를 입증하는 과제가 새롭게 생긴다.
얼마 전까지만 해도 “우리도 AX를 시작했다”는 선언만으로 충분했지만, 이제는 질문이 달라졌다. AI를 도입했느냐보다, 토큰 비용을 감안하고도 생산성 향상이나 매출 증대, 비용 절감 같은 경제적 효용을 증명할 수 있느냐를 묻는다.
AI 산업 경쟁도 바뀌고 있다. 처음에는 누가 더 뛰어난 모델을 만들었는지, 더 많은 그래픽처리장치(GPU)를 확보했는지가 경쟁력이었다. 이제는 같은 GPU와 같은 전력으로 얼마나 많은 토큰을 생산하고, 같은 결과를 얼마나 적은 토큰으로 만들어내느냐가 승부를 가른다.
파일럿의 시대가 끝나고 손익계산서의 시대가 왔다. 누가 더 적은 토큰으로 더 큰 가치를 만들어냈는지가 경쟁력이 된다. 토큰은 기업의 생산성을 측정하는 단위이자 비용을 계산하는 새로운 경제 언어가 되고 있다. AI 전쟁은 결국 토큰 전쟁이다. 그 승부는 더 높은 경제성을 증명하는 기업이 가져갈 가능성이 크다.
정현정 기자 iam@etnews.com
