인공지능(AI) 시대의 본격적인 도래와 함께, 컴퓨팅 패러다임은 근본적인 전환점을 맞이하고 있다. 2026년 초 현재, AI 산업은 대규모 모델 학습(Training) 중심에서 실시간 추론(Inference) 중심으로 빠르게 이동하고 있으며, 이러한 변화는 하드웨어 아키텍처 전반에 걸쳐 새로운 요구사항을 제기하고 있다.
지난 10년간 GPU의 연산 능력은 60,000배 향상되었지만, DRAM 메모리 대역폭은 겨우 100배 개선에 그쳤다. 이 격차는 소위 '메모리 장벽(Memory Wall)'이라 불리는 현상을 초래했으며, 아무리 강력한 GPU라도 데이터 공급 속도가 뒷받침되지 않으면 그 성능을 온전히 발휘할 수 없게 되었다. HBM(High Bandwidth Memory)은 이 문제에 대한 첫 번째 해답이었다.
그러나 현재 HBM만으로는 충분하지 않다는 인식이 점차 확산되고 있다. AI 모델의 파라미터 수는 기하급수적으로 증가하고 있으며, 특히 추론 워크로드에서는 속도보다 용량이 더 중요한 요소로 부상하고 있다. GPT-4 이후 등장한 멀티모달 모델과 장문맥(Long Context) 처리 모델은 단일 GPU에 수백 GB에서 TB급 메모리를 요구하고 있으나, HBM의 용량 확장에는 물리적·경제적 한계가 명확하다.
