AI 산업은 2025년을 기점으로 훈련(Training) 중심에서 추론(Inference) 중심으로 급격히 전환되고 있다. 훈련 단계는 수조 개의 토큰으로 모델을 학습시키는 과정으로, GPU가 데이터를 얼마나 빨리 받느냐가 핵심 병목이었다. 이를 위해 HBM(High Bandwidth Memory)이 GPU 바로 옆에 배치되어 8TB/s급 초고속 대역폭을 제공했다. 반면 추론 단계는 실제 사용자 쿼리에 실시간으로 응답하는 과정으로, 초대용량과 합리적 속도가 동시에 요구된다. 문제는 HBM의 용량이 작고(B200 기준 192GB) 비용이 엄청나게 비싸다는 점이다. 따라서 테라바이트급 용량을 HBM 대비 10분의 1 비용으로 제공하는 NAND Flash SSD가 새로운 솔루션으로 부상하고 있다.
훈련 단계 (2022-2024 중심)
목적: 수조 개의 토큰으로 AI 모델 학습
메모리 요구사항: 초고속 대역폭 (bandwidth-critical)
핵심 병목: GPU가 데이터를 얼마나 빨리 받느냐
주요 솔루션: HBM (High Bandwidth Memory) - GPU 바로 옆에 붙어서 8TB/s급 속도 제공
스토리지 역할: 학습 데이터를 HBM에 공급하는 보조 역할
추론 단계 (2025-2026 폭발적 성장)
목적: 실제 사용자 쿼리에 실시간 응답 (ChatGPT, Claude 등)
메모리 요구사항: 초대용량 + 합리적 속도 (capacity-critical)
핵심 병목: 모델 파라미터, KV 캐시, 벡터 DB 등을 어디에 저장하느냐
문제점: HBM은 용량이 작고(B200 기준 192GB) 엄청나게 비쌈
새로운 솔루션: NAND Flash SSD - 테라바이트급 용량을 HBM 대비 1/10 비용으로
