토큰은 인공지능(AI)이 이해하고 생성하는 언어의 기본 단위를 뜻한다. AI가 입력과 출력을 처리하는 최소단위로, 수행해야하는 계산량과도 같은 의미를 갖는다.
토큰이라는 단어는 기존에도 꾸준히 사용돼 왔다. 인증을 위한 디지털 장치인 OTP 토큰부터 디지털 자산 혹은 암호화 자산을 뜻하는 의미로 널리 쓰여 왔다. 특히 비트코인, 이더리움 등 블록체인 영역에선 가치를 나타내는 디지털 증표로 인식됐다.
AI가 확산하면서 토큰은 가치를 나타내는 단위에서 연산과 언어 처리를 위한 단위로도 쓰이게 됐다. 최근 토큰이 화두가 되고 있는 것은 생성형AI와 같은 서비스가 보편화되면서 기본 단위인 토큰이 하나의 경제로 부상하고 있기 때문이다. 사용자(기업)가 생산하는 수많은 토큰을 컴퓨팅 자원(그래픽처리장치 등)이 처리하고, 통신망이 실시간으로 전송하는 산업이 급격히 커지고 있는 게 대표적이다.
일상에 파고든 AI 서비스로 인해 토큰이 기하급수적으로 늘 것으로 전망되는 가운데 이로인한 GPU 사용량, 전력 소비, 네트워크 트래픽 증가는 기업은 물론 국가적으로도 핵심 과제가 되고 있다. 결국 초당 몇 개의 토큰을 처리할 수 있는지에 따라 경쟁력이 좌우되는 상황에서 국가 차원의 투자가 대대적으로 이뤄지고 있다.
특히 통신사들은 기존 문자나 전화 등 비트 단위의 네트워크 비즈니스를 넘어 토큰을 생성, 처리, 전송하는 AI 기업으로 전환을 서두르고 있다. 막대한 투자 대비 수익이 제한적인 전통적인 통신사업보다는 AI데이터센터(AIDC) 투자를 통해 폭증하는 토큰을 생성, 처리하는 사업으로 전환을 꾀하고 있다.
정용철 기자 jungyc@etnews.com
