별의순간

보존 원문 발췌

엔비디아 GPU를 구매할 때 엔비디아 네트워킹까지 구매하는 비율이 최근 90%까지 상승했습니다. 엔비디아 CFO는 여전히 GPM을 75%대로 맞출 수 있을 것으로 전망했습니다. NVIDIA ICMS(Inference Context Memory Storage) 플랫폼을 선보였습니다. 추론에 쓰이는 컴퓨팅 Loop 내에 SSD가 진입한 순간입니다. 컴퓨팅, 네트워킹에서 1위를 차지한 것에 이어서 앞으로는 스토리지 프로세서, SmartNIC, 고성능 CPU 출하량에서도 각각 1위를 달성할 것으로 예상했습니다. ​ 이제 DRAM, SSD가 Inference Inner Loop로 편입됐다 CES 2026에서 젠슨황은 데이터센터에서의 핵심 병목이 컴퓨팅에서 컨텍스트로 바뀌었다고 말했습니다. 이를 위해 스토리지 아키텍처를 재설계한 것이 ICMS입니다. 모델 규모가 커지고, 컨텍스트 윈도우가 커지고, 여러 턴에 걸쳐서 상호작용을 해야 하며 그 과정에서도 KV Cache를 모두 저장해야 하고, 동시에 진행하는 세션의 수가 증가함에 따라 컨텍스트 데이터를 어떻게 보존, 이동, 재사용하는지가 중요해진 것입니다. ​ 이에 젠슨황은 CES 발표 당시,"HBM만으로 GPU의 컴퓨팅을 지원하기에는 턱없이 부족하며, 메모리 병목 현상은 더욱 더 심화되고 있다(With existing high-bandwidth memory, it’s far from sufficient to support GPUs, and the memory bottleneck is only getting worse)"고 말했습니다. ​

DRAM, SSD를 늘리는 것이 GPU의 퍼포먼스와 MFU를 높일 수 있는 요소가 되었다는 말과도 같습니다. 원래는 저장요소였다면 이제는 실제로 메모리를 더 많이, 더 좋은 사양으로 집어넣어 추론 시 생기는 컨텍스트 병목을 빠르게 해결해주는 게 GPU와 HBM이 더 많은 고부가가치 일을 할 수 있도록 해주는 것이 됐습니다. ​ HBM을 대체하는 것이 아니라, HBM의 대역폭을 필요로 하지 않는 데이터들을 DRAM으로 이동시키고 → 상대적으로 가격이 비싼 DRAM에서 쓰지 않는 것들은 SSD로 이동시켜서 GPU의 옆에 있는 HBM이 고대역폭 컴퓨팅에 집중할 수 있도록 만들어주는 효과입니다. ​ Agentic AI로 가면 추론 컨텍스트는 훨씬 커진다 CY26 Rubin은 Agentic AI에 특화시킨 하드웨어 플랫폼임을 여러 면에서 느낄 수 있는데, Rubin CPX에 이어서 이번 ICMS은 꼭 필요한 분야 중 하나였습니다. 일반 챗봇과 달리 에이전트는 반복되는 시스템 프롬프트, 도구 사용, 이전 대화기록 저장 등 공동된 앞부분이 매우 길어지기 때문입니다. Manus AI 데이터에 따르면 대략 100:1입니다. decode에 비해서 prefill이 많아지기에 매 단계마다 컨텍스트를 다시 계산하는 prefill이 차지하는 비용과 지연시간 비중이 80~90%까지 높아지게 됩니다. ​ KV Cache 자체가 HBM의 메모리 용량을 훌쩍 뛰어넘기게 되기에 HBM 용량을 보완하기 위해 서버 DRAM, NVMe SSD를 사용하고, 소프트웨어와 DPU를 통해서 KV Cache를 얼마나 잘 관리하느냐가 클러스터 전체의 TCO 대비 퍼포먼스를 좌우하는 핵심 요소가 됐습니다.

​ HBM → System DRAM → Rack Local SSD → Shared File 엔비디아는 이전에 NVIDIA Dynamo를 통해서 스토리지 계층 전반에 걸쳐 추론 시 사용되는 KV Cache를 관리하고 있습니다. 구조적으로 보면 이렇게 되어 있었습니다. ​ G1 (GPU HBM) : 답변을 생성 중인 활성화된 데이터용입니다. 속도가 매우 빨라야 하고, 지연시간이 핵심인 작업에 사용됩니다. G2 (System DRAM) : HBM의 용량이 부족할 때 데이터를 임시로 옮겨두는 공간입니다. G3 (Local SSD) : 짧은 시간 안에 다시 사용될 가능성이 있는 Warm data를 저장합니다. G4 (Shared Object/File) : 당장 처리에 필요하진 않지만 보관이 필요한 Cold data를 보관합니다. ​ G1은 접근 속도에 최적화되어 있고, G3와 G4는 데이터 보존에 최적화된 구조입니다. 그런데 문제는 AI가 다루는 컨텍스트 윈도우가 점점 더 커지다보니 데이터 양이 늘어남에 따라 KV Cache가 Local Storage였던 G1~G3를 빠르게 소진시키고 Enterprise Storage 레벨인 G4까지 데이터를 이동시킬 수밖에 없는데, 이 과정에서 병목이 커진다는 게 문제입니다. 비용과 전력 소비 모두를 증가시키는 길이었습니다. ​ 위에서 HBM ↔ DRAM, SSD가 서로를 해치는 구조가 아님을 말씀드린 것처럼, G2와 G3, G3.5 레벨도 지금처럼 추론 컨텍스트가 점점 커지는 시기에 서로를 해치는 구조가 아닙니다. ​ 2026년 1월 기준, 서버용 32GB DDR5-5600 RDIMM은 $600이며 이정도면 GB당 약 $19입니다.

같은 시점에 7.68TB Enterprise NVMe SSD 가격은 $1,500이며 GB당 $0.20입니다. 컨텍스트 데이터를 사용함에 있어서 수십TB 규모를 저장할 때 DRAM을 사용하는 것은 경제적으로 타당하지 않고, 반대로 토큰을 low latency 그리고 고대역폭으로 서비스하기 위해서 SSD에만 기우는 것도 맞지 않습니다. DRAM과 SSD는 지속적인 추론 시 토큰 Throughput과 경제성을 결정하는 요소입니다. ​ Pod 내의 Inference Context Memory Storage의 위치 이에 엔비디아가 Rubin부터는 컴퓨팅 Pod을 구성할 때 ICMS를 통해 SSD를 GPU와 직접적으로 연결한 것처럼 쓸 수 있게 했습니다. 위의 VR200 DGX SuperPod 구성을 보시면, 양 옆으로 Context Memory 랙을 확인하실 수 있습니다. 이번 Rubin 플랫폼부터 새롭게 추가된 부분입니다. ​ 지금보다 훨씬 더 메모리 집약적인 추론을 위해서 대규모 SSD를 마치 직접 GPU에 연결된 수준으로 가져다 쓸 수 있게끔 인프라를 짠 것입니다. ICMS을 통해서 BlueField-4 DPU 4개와 150TB 규모의 NVMe SSD를 탑재하면 GPU Pod당 PB 규모의 공유 스토리지가 생깁니다. 각 GPU당 추가로 16TB의 Context Memory를 얻게 되는 효과이며, Latency에 민감한 KV Cache의 상당부분이 이젠 ICMS에서 제공되므로 TPS는 5배 높아지고 기존 스토리지 연결구조 대비 전력 효율은 5배 높아지는 효과를 얻습니다. ​

추론 컨텍스트 처리가 GPU에서 멀어지면 멀어질수록 지연시간은 높아지고, 에너지 사용량과 토큰당 비용이 상승하며 전체적인 효율이 떨어지는 문제가 생기에, 아예 Pod 레벨에서 통합된 특수한 컨텍스트 메모리 계층을 만든 것이 NVIDIA ICMS입니다. G3.5 레벨입니다. KV Cache 데이터 액세스가 훨씬 더 빨라지고 GPU가 쓸 수 있는 메모리의 규모가 크게 증가하는 만큼 효율이 높아집니다. ​ NVIDIA ICMS를 가능케하는 HW + SW ICMS는 엔비디아가 소프트웨어 및 하드웨어 End-to-End를 설계했기에 가능했습니다. ​ 추론 워크로드를 실행할 때 NVIDIA Dynamo와 NIXL(NVIDIA Inference Transfer Library)이 어떤 데이터를 언제 옮기고 어디에 옮길지 결정하는 소프트웨어 역할을 합니다. KV를 미리 옮겨 decode 병목을 줄입니다. 그리고 BlueField-4 DPU와 NVIDIA DOCA 프레임워크는 데이터 이동을 전담 처리하여 GPU의 부하를 줄이는 역할을 합니다. 네트워킹에서는 Spectrum-X Ethernet이 Rubin 컴퓨팅 노드(VR200 NVL72 or R200 HGX)과 BlueField-4 ICMS 스토리지 노드를 전체를 오가며 지연시간이 짧고 대역폭이 높은 패브릭 역할을 합니다. ​ *DPU는 마치 GPU와 SSD가 Local에서 직접 연결된 것처럼 만들어주는 여러 기능을 하나의 칩에 넣은 것입니다. NVL72 랙에 들어가는 SSD & ICMS에 들어가는 SSD 기본 VR200 NVL72에는 8TB SSD 12개가 장착되어 출고됩니다.