컴퓨터와 인공지능(AI) 분야에서 우리가 꼭 기억해야할 이름이 하나 있다. 폰 노이만이다. 우리가 사용하는 노트북, 패드, 클라우드 서버 등 모든 컴퓨터는 폰 노이만 구조에 기반한다. 폰 노이만은 1903년생으로 20세기가 낳은 헝가리 출신의 천재다. 집합론의 공리체계를 재정립한 수학자이며, 게임이론을 창시한 경제학자다. 2차 세계대전 당시 맨해튼 포로젝트의 일원으로 아인슈타인과 함께 핵 개발에 참여했으며, 폰 노이만 구조를 통해 현대 컴퓨터의 작동방식 토대를 정립한 컴퓨터과학자다.
폰 노이만을 빼놓고는 현대의 컴퓨터를 논할 수 없다. 컴퓨터는 계산을 담당하는 계산부와 프로그램과 데이터를 저장하는 저장부로 구성되며, 저장부에서 명령어와 데이터를 계산부로 가져와, 계산부에서 명령어를 실행한다. 이 구조가 현대 컴퓨터의 기본 구조다. 이를 제시한 이가 폰 노이만이며, 이런 원리로 작동하는 컴퓨터를 폰 노이만 머신이라 한다.
폰 노이만 구조에서 계산부에 해당하는 것이 CPU이며 저장부에 해당하는 것이 메모리다. 폰 노이만 구조 컴퓨터의 성능을 높이기 위해서는 계산부가 계산을 빨리해야하고, 명령어와 데이터를 끊김없이 메모리에서 읽어들여야 한다. 1950년대 컴퓨터 탄생 후 최근까지 컴퓨터의 성능은 계산부, 즉 CPU의 성능에 의해 결정됐다. 계산 속도를 높이기 위해 CPU의 동작주파수를 올렸다.
1950년대에 제작된 1세대 컴퓨터 에니악(ENIAC)의 동작주파수는 100KHz였다. 지금 서버 CPU의 동작주파수는 3.00GHz다. 80년 사이에 작동 속도가 약 3만배 빨라졌다.
뿐만 아니다. CPU에서 여러 개의 명령어를 동시에 실행하고, 실행될 가능성이 있는 것들을 예측해서 미리 실행하는 등의 정교한 기법들이 CPU에 적용됐다. 메모리에서 명령어와 데이터를 CPU로 읽어들이는 시간을 줄이기 위해 메모리에서 한 번에 가져오는 양을 늘렸다. 컴퓨터의 모든 부품은 CPU의 명령에 의해서 움직였고, CPU가 모든 부품의 동작을 관할했다. 이것을 CPU 중심 컴퓨팅이라 한다. CPU는 컴퓨터라는 왕국의 주인이고, 메모리나 스토리지는 왕국 생태계의 말단에 존재하는 대체가능한 성실한 소시민일 뿐이다. 마이크론의 DDR4 D램을 컴퓨터에서 제거하고, 대신 삼성전자 DDR4 D램을 탑재해도 컴퓨터는 잘 돌아간다.
대체불가능한 CPU 제품들과 범용제품인 D램들은 시장에서의 경쟁방식이 다르다. 범용 제품들은 살깎는 원가경쟁으로 내몰린다. 1990년대에 사무용 PC 제조원가에서 CPU, 메모리, 스토리지가 차지하는 비중은 대략 1:1:1 이었다. 100만원의 예산이면 대략 CPU에 20만원, 메모리에 20만원 그리고 스토리지에 20만원을 투자하면 쓸만한 컴퓨터를 꾸밀수 있었다.
메모리 업계에서 2000년대에 후반부터 두 차례 처절한 치킨게임이 있었다. 이 때, 2006년 말 6달러 안팎이던 DDR2 1Gb 가격이 2008년 말 1달러 아래까지 떨어졌다. 독일 키몬다가 2009년 1월 파산 신청을 했고 대만 업체들(파워칩·프로모스·난야)는 사실상 재기 불능 상태에 빠졌다. 일본 유일의 D램 업체 엘피다가 2012년 2월 무너졌고, 이듬해 마이크론에 인수됐다.
이 두 번의 치킨 전쟁으로 20여개였던 D램 업체가 삼성·SK하이닉스·마이크론 3사로 정리됐다. 메모리 업계가 사활을 건 치킨 게임을 벌이는 사이, 생태계의 정점에 있던 CPU의 대표 제조사 인텔은 독점적 위치를 이용해 가격 결정력을 강화했고, 컴퓨터 제조원가에서 CPU 비중이 정점에 진입했다. D램 가격은 치킨게임으로 계속 하락했고, 스토리지 역시 하드디스크에서 플래시기반의 SSD로 전환하는 과정에서 GB당 단가 하락 속도가 용량 증가 속도를 앞질렀다. 급기야 2020년에는 사무용 PC에서 메모리 가격의 비중이 CPU 비중의 1/5이 됐다. 역사적 최저점이다. 30년 사이에 컴퓨터에서 CPU와 메모리가 차지하는 가격 비중이 1:1에서 5:1이 됐다. 이러한 가격구조의 근간에는 CPU는 주인, 메모리는 대체가능한 하인이 된, CPU 중심의 컴퓨팅 패러다임이 존재한다.
2026년 현재 CPU와 D램의 가격비율이 다시 30년 전의 그것으로 돌아갔다. 체감상 1년 전에 비해서 D램 가격이 대략 5배 올랐다. 현재, 소매 기준으로 DDR5는 32GB가 약 380달러(55만원)이다. 거의 CPU 값이다. 이제 CPU가격과 D램가격이 1:1이 됐다. 최근 메모리 가격의 급등에 대해 많은 전문가들이 현재 D램 가격의 지속가능성에 의문을 던진다. 어찌보면 단기간의 급등이라기보다 30년 전의 가격비율로 다시 돌아갔다고 볼수 있다.
최근 메모리 가격의 상승은 공급망 이슈, 메모리 수급 불균형 문제도 있지만, 지능이 무엇인가에 대한 패러다임 전환에 그 뿌리가 있다. CPU는 지난 70년간 매우 복잡하고 다양한 연산들을 빠른 속도로 실행하도록 고도화됐다. 정수의 곱셈, 소숫점 숫자의 곱셈등 다양한 형태의 곱셈을 위한 회로를 각각 따로 두었다.
AI 엔진은 첨단 CPU의 고급 기능을 필요로 하지 않는다. AI 엔진을 돌리는데 필요한 연산은 아주 단순하다. 벡터와 행렬의 곱셈, 행렬과 행렬의 곱셈뿐이다. 단지 곱해야할 숫자가 무지 많다. 수억개의 원소로 이뤄진 행렬이다. 이 숫자들은 메모리에 존재한다. 이들 숫자들이 한 번에 수천개씩 CPU에 공급돼야 한다. AI 엔진 구동에 필요한 것은 계산부의 성능이 아니라 저장부와 계산부간의 데이터 이동속도 그리고 저장부의 용량이다. 기존 메모리가 제한속도 시속 100km의 2차선 도로라면, AI를 위한 메모리는 제한속도는 낮지만, 24차선 도로가 필요하다.
두 가지 중요한 사실이 있다. 첫째는 CPU 성능은 덜 중요해졌다는 사실이고, 둘째는 반대로 메모리 성능이 전체 시스템의 성능에 결정적인 역할을 한다는 사실이다. 때문에, AI계산을 위해서 메모리가 프로세서보다 비싸지고, 데이터센터 자재 원가의 절반이 메모리로 채워지는 것이다.
우리는 오랫동안 지능을 추론과 논리의 능력으로 여겨왔다. CPU Centric Computing은 그 믿음의 결과였다. 지능의 핵심은 '계산하는 힘'이며, 기억은 계산을 위한 보조수단이었다. 지능의 힘이 '계산'에 있기 때문에, CPU제조사들이 지난 70년간 생태계의 정점에 있었다.
최근 AI의 급격한 발전은 추론과 논리 중심의 컴퓨팅에 근본적인 질문을 던졌다. 2016년 구글의 AI 바둑 엔진 알파고가 이세돌을 격파했다. 이세돌을 꺾은 알파고의 근간은 기보를 암기하는 것이다. 프로급 기사들의 대국 16만판에서 뽑아낸 2940만개의 국면이 신경망의 가중치로 응축됐고, 여기에 자기대국으로 만들어낸 3000만개의 국면이 더해졌다. 알파고는 더 깊이 생각한 것이 아니라 더 많이 기억했다. 대규모 언어모델(LLM)의 능력도 메모리에 저장할 수 있는 파라미터 수에 비례한다. 추론의 대부분은 계산이 아니라 메모리로부터 행렬의 원소, 즉 가중치를 읽어 오는 것이다.
사실 인간도 마찬가지다. 명의는 더 빨리 추론하는 사람이 아니라 더 많은 증례를 기억하는 사람이고, 대가의 직관은 축적된 경험의 압축이다. 천재 과학자 폰 노이만은 브리테니커 백과사전을 통째로 외웠다고 한다. 창의성이라는 것도 그 근간을 보면, 예상치 못한 두개의 현상을 연결하는 것에서 출발한다.
기억이 지능의 본질이라면, 메모리가 폰 노이만 구조의 현대 컴퓨터에서 중심에 위치하는 것은 자연스러운 귀결이다. 메모리가 생태계의 중심이 되는 것이 어떤의미를 갖을까?
생각해서 결론을 내리는 과정, 이것을 추론이라한다. 추론과정에서 더욱많은 과거의 기억을 유지하려고 노력할 것이다. 컴퓨터는 더많은 내용을 기억하는 방향으로 발전할 것이다. 대체가능한 범용화된 부품인 메모리가 결국 지능의 근간이 되면서, 그 중요성이 더욱 강조될 것이다. 지금은 서막에 불과하다. 지난 1년간의 메모리 가격 폭등은 시장이 이 사실을 가격에 반영하는 과정일지도 모른다. 우리가 원하는 생각하는 기계는 결국은 기억하는 기계였던 것이다. CPU 중심 컴퓨팅의 시대가 저물고 메모리 중심 컴퓨팅의 시대가 서서히 오고 있다. 80년 전 폰노이만은 메모리가 컴퓨터의 중심이 되는 날이 있을거라 생각했을까?
원유집 KAIST 교수 ywon@kaist.ac.kr
〈필자〉KAIST 교수, KAIST 스토리지 연구센터장이다. 서울대에서 학사·석사를 받고 미국 미네소타대에서 컴퓨터과학으로 박사 학위를 받았다. 인텔에서 근무 후, 1999년 한양대에서 교수생활을 시작했고, 2019년 부터 KAIST 전자공학과 교수로 재직 중이다. 제39대 한국정보과학회 회장을 역임했다. 셋톱박스용 파일시스템, 플래시 메모리용 펌웨어등 상용기술개발에 성공하고, 세계 스토리지 기술발전에 일조했다. 운용체계 분야의 세계적 권위자다. 우리나라 시스템 소프트웨어의 경쟁력 강화를 위해 노력하고 있다.
