상승 전환추적 후보Codex 검토GB200 NVL72의 큰 랙 메모리는 엔비디아의 대형 MoE 추론 수용 범위를 다시 검토하게 한다.성장 제약 해소달라진 점작성자는 2025년 3월부터 GB200 NVL72 양산이 시작됐고, 2025년 하반기 성숙 뒤 13TB 도메인에서 5T 모델과 KV cache를 한 랙에서 서비스할 수 있다고 설명한다.다르게 볼 이유원문 작성자의 해석은 큰 scale-up 도메인이 추론의 랙 간 hop 제약을 줄여 더 큰 모델 서빙의 하드웨어 병목을 완화했다는 것이다. Codex 검토는 이 변화가 엔비디아의 대형 MoE 추론 수용 범위를 긍정 방향으로 추적할 근거지만, 실제 수요·수익 기여는 이 원문만으로 확인되지 않아 watch로 둔다.남은 확인원문에는 NVL72의 실제 고객 채택 규모, 사용률, 엔비디아의 수익 기여가 제시되지 않는다.
원문을 바탕으로 한 Codex의 독립 판단입니다. 출처가 전한 사실·해석과 구분해 읽을 수 있습니다.
분석 대상 · 엔비디아 GB200 NVL72 양산 시작
이전에는
Hopper 8-GPU의 scale-up 도메인 메모리 640GB에서는 1T 모델조차 KV cache와 함께 올리기 빠듯했다고 작성자는 설명한다.
원문 근거
여기에 사용자별 KV cache 및 동시 처리하는 batch까지 얹으면 실제 필요 용량은 훨씬 더 큽니다. Hopper 8-GPU 구조에는 1T 모델조차 함께 올리기 빠듯합니다. 반면 GB200 NVL72는 13TB이니 5T 모델에 더해서 KV cache까지 충분히 얹을 수 있고, GB300 NVL72는 20TB이니 10T 모델까지도 KV cache를 넣어서 서빙할 수 있습니다. 정리하자면 GPT-4 이후의 정체기는 모델 훈련의 이슈라기보다 그걸 서빙하기에 충분한 하드웨어가 없었던 시기입니다. 여기서 흥미로운 건 구글 TPU는 오래전부터 랙들을 Pod으로 연결하는 매우 큰 Scale-up 도메인을 갖고 있었기 때문에 다른 AI Labs들보다 한 단계씩 앞설 수 있었습니다. 이를 가장 잘 보여주는 것이 Gemini 2.5 Pro입니다.
냉각 : 늘어난 전력만큼의 열을 빼내야 하는 이슈 케이블 밀도 : 커넥터 밀도, 백플레인 밀도, 굽힘 반경 한계 GPT-4 이후 3년의 시간은 어디로 갔을까? 흥미로운 포인트는 GPT-4가 2023년 초에 출시됐고 1T 파라미터를 돌파했는데, 그 후 거의 3년쯤 지나서야 의미 있는 더 큰 모델이 나오기 시작했다는 것입니다. 여기서 병목이었던 포인트는 충분한 큰 Scale-up 도메인이 없었다는 게 병목입니다. 쭉 정리해보면 이렇습니다. 2023년 : Hopper 8-GPU (80GB * 8) → Scale-up 도메인 내 메모리 640GB 2025년 : Blackwell NVL72 (192*72 ~ 288*72) → Scale-up 도메인 내 메모리 13~20TB 1T 파라미터 모델은 weights만 1TB가 필요합니다.
새롭게 달라진 점
작성자는 2025년 3월부터 GB200 NVL72 양산이 시작됐고, 2025년 하반기 성숙 뒤 13TB 도메인에서 5T 모델과 KV cache를 한 랙에서 서비스할 수 있다고 설명한다.
원문 근거
GB200 NVL72이 양산되기 시작한 때가 2025년 3월부터입니다. 도메인이 8-GPU에서 72-GPU로 오다보니 소프트웨어와 네트워킹이 충분히 성숙하기까지 시간이 걸리긴 했는데 그렇게 성숙시키고난 뒤가 2025년 하반기쯤이었습니다. 이때부터는 이제 13TB였기에 5T 모델도 하나의 랙 안에서 서비스할 수 있었습니다. API 비용의 세 가지 요소 API 비용을 역으로 살펴보기 (컨텍스트, 입출력 토큰, Cache hit/miss) LLM API 가격표에는 세 가지가 쓰여있다 GPT-5, Claude 4, Gemini 3의 내부 구조는 모르지만 API 가격표는 공개되어 있습니다. API 가격은 비용에 마진을 붙여서 책정되고, 비용은 물리학을 따릅니다.
다르게 볼 이유
원문 작성자의 해석은 큰 scale-up 도메인이 추론의 랙 간 hop 제약을 줄여 더 큰 모델 서빙의 하드웨어 병목을 완화했다는 것이다. Codex 검토는 이 변화가 엔비디아의 대형 MoE 추론 수용 범위를 긍정 방향으로 추적할 근거지만, 실제 수요·수익 기여는 이 원문만으로 확인되지 않아 watch로 둔다.
원문 근거
GB200 NVL72이 양산되기 시작한 때가 2025년 3월부터입니다. 도메인이 8-GPU에서 72-GPU로 오다보니 소프트웨어와 네트워킹이 충분히 성숙하기까지 시간이 걸리긴 했는데 그렇게 성숙시키고난 뒤가 2025년 하반기쯤이었습니다. 이때부터는 이제 13TB였기에 5T 모델도 하나의 랙 안에서 서비스할 수 있었습니다. API 비용의 세 가지 요소 API 비용을 역으로 살펴보기 (컨텍스트, 입출력 토큰, Cache hit/miss) LLM API 가격표에는 세 가지가 쓰여있다 GPT-5, Claude 4, Gemini 3의 내부 구조는 모르지만 API 가격표는 공개되어 있습니다. API 가격은 비용에 마진을 붙여서 책정되고, 비용은 물리학을 따릅니다.
여기까지 말씀드린 내용을 정리하면, GPT-4 이후로 3년간 모델의 크기가 생각보다 커지지 않은 이유는 이렇습니다. 모델을 더 크게 훈련시키는 건 가능했습니다. 훈련에서는 당연히 클러스터 규모만 생각하더라도 여러 랙에 걸친 Pipeline이 보편화되어 있기 때문에 여러 랙에 걸쳐서 훈련합니다. 훈련의 제약은 아닙니다. 하지만 훈련시킨 모델을 추론으로 띄우는 게 문제입니다. 추론에서는 사용자가 받는 latency가 중요하고, 그 latency는 Scale-up 도메인 내에서만 패널티 없이 유지됩니다. latency는 곧 토큰당 추론 비용을 결정합니다. Hopper 시절에는 이것이 640GB로 너무 작았습니다. 거대한 모델을 띄우려 하면 여러 랙에 걸쳐야 했고 Pipeline Parllelism이 있지만 그러면 hop이 생기니 랙 간의 통신에서 발생하는 latency가 발목을 잡습니다.
판단을 바꿀 조건
대형 모델과 KV cache를 한 scale-up 도메인에 두는 것이 실제 추론 latency·비용 우위를 만들지 못한다는 확인이 나오면 이 긍정 검토 논리는 약화된다.
원문 근거
GB200 NVL72이 양산되기 시작한 때가 2025년 3월부터입니다. 도메인이 8-GPU에서 72-GPU로 오다보니 소프트웨어와 네트워킹이 충분히 성숙하기까지 시간이 걸리긴 했는데 그렇게 성숙시키고난 뒤가 2025년 하반기쯤이었습니다. 이때부터는 이제 13TB였기에 5T 모델도 하나의 랙 안에서 서비스할 수 있었습니다. API 비용의 세 가지 요소 API 비용을 역으로 살펴보기 (컨텍스트, 입출력 토큰, Cache hit/miss) LLM API 가격표에는 세 가지가 쓰여있다 GPT-5, Claude 4, Gemini 3의 내부 구조는 모르지만 API 가격표는 공개되어 있습니다. API 가격은 비용에 마진을 붙여서 책정되고, 비용은 물리학을 따릅니다.
다른 랙의 GPU는 불가능합니다. 그래서 실효 메모리 대역폭은 Scale-up의 가속기 수 x GPU당 대역폭으로 결정됩니다. 그런데, GPU 한 개당 대역폭은 한 세대당 대략 2배씩 늘어나는데 Scale-up의 가속기 수가 Hopper → Blackwell로 오면서 8배 늘었습니다. 이게 대역폭 측면으로 보자면 어마어마한 개선이었습니다. 지연시간 (Latency) : 랙을 넘어가는 hop마다 몇 ms씩 latency가 추가됩니다. decode는 순차적인 작업이므로 latency가 누적됩니다. 한 토큰이 20ms에 만들어진다고 보면, hop 몇 개가 끼면 30ms가 됩니다. 50% 느려지는 것입니다. Scale-up 안에서 all-to-all로 이를 해결할 수 있다면 이러한 hop으로 인한 latency가 모두 사라지는 효과입니다.
여기까지 말씀드린 내용을 정리하면, GPT-4 이후로 3년간 모델의 크기가 생각보다 커지지 않은 이유는 이렇습니다. 모델을 더 크게 훈련시키는 건 가능했습니다. 훈련에서는 당연히 클러스터 규모만 생각하더라도 여러 랙에 걸친 Pipeline이 보편화되어 있기 때문에 여러 랙에 걸쳐서 훈련합니다. 훈련의 제약은 아닙니다. 하지만 훈련시킨 모델을 추론으로 띄우는 게 문제입니다. 추론에서는 사용자가 받는 latency가 중요하고, 그 latency는 Scale-up 도메인 내에서만 패널티 없이 유지됩니다. latency는 곧 토큰당 추론 비용을 결정합니다. Hopper 시절에는 이것이 640GB로 너무 작았습니다. 거대한 모델을 띄우려 하면 여러 랙에 걸쳐야 했고 Pipeline Parllelism이 있지만 그러면 hop이 생기니 랙 간의 통신에서 발생하는 latency가 발목을 잡습니다.
판단을 뒷받침하는 근거
- 원문은 GB200 NVL72의 13TB와 GB300 NVL72의 20TB를 Hopper 8-GPU 640GB와 대비하며, weights와 KV cache를 한 도메인에 담는 범위가 커졌다고 설명한다.
원문 근거
GB200 NVL72이 양산되기 시작한 때가 2025년 3월부터입니다. 도메인이 8-GPU에서 72-GPU로 오다보니 소프트웨어와 네트워킹이 충분히 성숙하기까지 시간이 걸리긴 했는데 그렇게 성숙시키고난 뒤가 2025년 하반기쯤이었습니다. 이때부터는 이제 13TB였기에 5T 모델도 하나의 랙 안에서 서비스할 수 있었습니다. API 비용의 세 가지 요소 API 비용을 역으로 살펴보기 (컨텍스트, 입출력 토큰, Cache hit/miss) LLM API 가격표에는 세 가지가 쓰여있다 GPT-5, Claude 4, Gemini 3의 내부 구조는 모르지만 API 가격표는 공개되어 있습니다. API 가격은 비용에 마진을 붙여서 책정되고, 비용은 물리학을 따릅니다.
여기에 사용자별 KV cache 및 동시 처리하는 batch까지 얹으면 실제 필요 용량은 훨씬 더 큽니다. Hopper 8-GPU 구조에는 1T 모델조차 함께 올리기 빠듯합니다. 반면 GB200 NVL72는 13TB이니 5T 모델에 더해서 KV cache까지 충분히 얹을 수 있고, GB300 NVL72는 20TB이니 10T 모델까지도 KV cache를 넣어서 서빙할 수 있습니다. 정리하자면 GPT-4 이후의 정체기는 모델 훈련의 이슈라기보다 그걸 서빙하기에 충분한 하드웨어가 없었던 시기입니다. 여기서 흥미로운 건 구글 TPU는 오래전부터 랙들을 Pod으로 연결하는 매우 큰 Scale-up 도메인을 갖고 있었기 때문에 다른 AI Labs들보다 한 단계씩 앞설 수 있었습니다. 이를 가장 잘 보여주는 것이 Gemini 2.5 Pro입니다.
당시 GPT 및 Claude와 비슷한 지능에 훨씬 저렴한 토큰 추론비용을 감당할 수 있었던 이유입니다. Pipeline Parallelism : 하나의 랙에 안 들어가면 Layer를 여러 랙 나눠 담자 그러면 Scale-up 도메인 메모리 용량이 작아서 모델이 랙 하나에 안 들어가면 여러 랙에 나눠 담는 조합을 생각해볼 수 있습니다. 그게 Pipeline Parllelism입니다. 세레브라스 자료에서 한 번 전해드렸던 내용입니다. Layer별로 나눠서 계산 후 데이터만 다음 랙으로 보내는 것입니다. 훈련에서는 이미 Pipelining이 보편화 되어 있으므로 이건 제외하고 추론에서 사용하는 것만 의미합니다. 다만, 일리야 수츠케버가 얘기한 것처럼 사실상 Pipeline Parllelism은 임시방편으로 2024~2025년에 많이 쓰였지만 지금은 큰 의미가 없습니다.
뭔가를 쪼개는 건 크게 세 가지 유형이 많습니다: Tensor Parllelism : 하나의 전문가를 쪼개서 연산 후 합쳐서 서빙하는 것 Expert Parllelism : 전문가를 GPU별로 나눠서 서빙하는 것 Pipeline Parllelism : 모델의 Layer들을 랙마다 나눠서 서빙하는 것 다만, HBM 용량 기준 H100은 640GB → H200은 1.13TB → GB200 NVL72는 13TB → GB300 NVL72는 20TB → VR200 NVL72는 20TB → VR300 NVL72는 150TB로 흘러감에 따라 랙 하나당 HBM 용량만 하더라도 10TB 수준으로 Scale-up 도메인 메모리 용량이 크게 증가한 이후로는 Pipeline Parllelism은 랙 간을 이동하는 통신이기도 하고 모델 아키텍처상 제약을 만들기에 선호받지 않고, Tensor Parllelism도 모델을 더 sparse하게 만드는 방법이 더 효율적이기 때문에 하나의 전문가가 이미 작아지니 그걸 더 작게 잘라도 통신이 병목이 되는지라 선호받지 않고 있습니다.
그래서 현실적으로 지금 많이 쓰이는 건 Expert Parllelism으로 하나의 Scale-up 도메인에 하나의 모델을 탑재하는 방식만 주로 쓰이고 있습니다. 메모리 용량은 어떻게 계산하는가? 메모리 용량 = (모델 weights의 크기) + (KV cahce의 크기) 간단한 버전 메모리 용량 = (N_total) + (Batch size x Context length x Bytes/token) 자세한 버전 *N_total = 모델의 전체 파라미터 수 (MoE면 Total parameter) *Batch size x Context length x Bytes/token = 모든 사용자의 KV cache 총합 이 둘이 모두 어딘가에 저장되어 있어야 합니다. 모델은 사용자의 요청을 받기 전에 메모리에 올라가 있어야 하고, KV cache는 매 토큰을 만들 때마다 읽고 써야 합니다.
GPU당 필요 메모리 = [(N_total) + (Batch size x Context length x Bytes/token)] ÷ (E x P) GPU에 나눠서 서빙할 때, 각 GPU당 올라갈 수 있는 메모리의 양 *E = Expert parllelism의 정도 (전문가를 몇 개의 GPU에 나눠 분산했는가) *P = Pipeline parllelism의 정도 (몇 개의 랙에 layer를 나눠 담았는가) 랙을 크게 만드는 이유는, 대역폭을 얻기 위해서이다 다시 정리하자면, Scale-up 도메인이 중요한 이유는 두 가지입니다. 메모리 대역폭 (Memory Bandwidth) : 같은 Scale-up 도메인 내의 모든 GPU는 weights를 병렬로 읽어낼 수 있습니다.
다른 랙의 GPU는 불가능합니다. 그래서 실효 메모리 대역폭은 Scale-up의 가속기 수 x GPU당 대역폭으로 결정됩니다. 그런데, GPU 한 개당 대역폭은 한 세대당 대략 2배씩 늘어나는데 Scale-up의 가속기 수가 Hopper → Blackwell로 오면서 8배 늘었습니다. 이게 대역폭 측면으로 보자면 어마어마한 개선이었습니다. 지연시간 (Latency) : 랙을 넘어가는 hop마다 몇 ms씩 latency가 추가됩니다. decode는 순차적인 작업이므로 latency가 누적됩니다. 한 토큰이 20ms에 만들어진다고 보면, hop 몇 개가 끼면 30ms가 됩니다. 50% 느려지는 것입니다. Scale-up 안에서 all-to-all로 이를 해결할 수 있다면 이러한 hop으로 인한 latency가 모두 사라지는 효과입니다.
여기까지 말씀드린 내용을 정리하면, GPT-4 이후로 3년간 모델의 크기가 생각보다 커지지 않은 이유는 이렇습니다. 모델을 더 크게 훈련시키는 건 가능했습니다. 훈련에서는 당연히 클러스터 규모만 생각하더라도 여러 랙에 걸친 Pipeline이 보편화되어 있기 때문에 여러 랙에 걸쳐서 훈련합니다. 훈련의 제약은 아닙니다. 하지만 훈련시킨 모델을 추론으로 띄우는 게 문제입니다. 추론에서는 사용자가 받는 latency가 중요하고, 그 latency는 Scale-up 도메인 내에서만 패널티 없이 유지됩니다. latency는 곧 토큰당 추론 비용을 결정합니다. Hopper 시절에는 이것이 640GB로 너무 작았습니다. 거대한 모델을 띄우려 하면 여러 랙에 걸쳐야 했고 Pipeline Parllelism이 있지만 그러면 hop이 생기니 랙 간의 통신에서 발생하는 latency가 발목을 잡습니다.
냉각 : 늘어난 전력만큼의 열을 빼내야 하는 이슈 케이블 밀도 : 커넥터 밀도, 백플레인 밀도, 굽힘 반경 한계 GPT-4 이후 3년의 시간은 어디로 갔을까? 흥미로운 포인트는 GPT-4가 2023년 초에 출시됐고 1T 파라미터를 돌파했는데, 그 후 거의 3년쯤 지나서야 의미 있는 더 큰 모델이 나오기 시작했다는 것입니다. 여기서 병목이었던 포인트는 충분한 큰 Scale-up 도메인이 없었다는 게 병목입니다. 쭉 정리해보면 이렇습니다. 2023년 : Hopper 8-GPU (80GB * 8) → Scale-up 도메인 내 메모리 640GB 2025년 : Blackwell NVL72 (192*72 ~ 288*72) → Scale-up 도메인 내 메모리 13~20TB 1T 파라미터 모델은 weights만 1TB가 필요합니다.
다음 확인 지점
- 이 원문이 제시하지 않은 실제 모델 배치·고객 채택·수익 기여가 확인되는지 점검한다.
원문 근거
GB200 NVL72이 양산되기 시작한 때가 2025년 3월부터입니다. 도메인이 8-GPU에서 72-GPU로 오다보니 소프트웨어와 네트워킹이 충분히 성숙하기까지 시간이 걸리긴 했는데 그렇게 성숙시키고난 뒤가 2025년 하반기쯤이었습니다. 이때부터는 이제 13TB였기에 5T 모델도 하나의 랙 안에서 서비스할 수 있었습니다. API 비용의 세 가지 요소 API 비용을 역으로 살펴보기 (컨텍스트, 입출력 토큰, Cache hit/miss) LLM API 가격표에는 세 가지가 쓰여있다 GPT-5, Claude 4, Gemini 3의 내부 구조는 모르지만 API 가격표는 공개되어 있습니다. API 가격은 비용에 마진을 붙여서 책정되고, 비용은 물리학을 따릅니다.
아직 모르는 점
- 원문에는 NVL72의 실제 고객 채택 규모, 사용률, 엔비디아의 수익 기여가 제시되지 않는다.
원문 근거 9개 펼치기
출처가 전한 사실
- 원문은 GB200 NVL72의 양산이 2025년 3월부터 시작됐다고 적는다.
- 원문은 GB200 NVL72의 scale-up 도메인 메모리를 13TB로 제시하고, 2025년 하반기에 소프트웨어와 네트워킹이 성숙했다고 설명한다.
출처의 해석·전망
- 작성자는 GB200 NVL72가 2025년 하반기 소프트웨어·네트워킹 성숙 뒤 13TB 규모의 도메인에서 5T 모델과 KV cache를 한 랙 안에 서비스할 수 있게 했다고 평가한다. 이는 더 큰 모델을 추론으로 띄우는 하드웨어 제약이 완화된 사례라는 문제의식으로 제시된다.
- 작성자는 추론에서 사용자 latency가 중요하며 랙 간 pipeline에는 hop이 생긴다는 점을 전제로, 8-GPU에서 72-GPU로 커진 도메인이 weights와 KV cache를 한 랙에 수용하는 범위를 바꾼다고 연결한다.
보존 원문 발췌
GB200 NVL72이 양산되기 시작한 때가 2025년 3월부터입니다. 도메인이 8-GPU에서 72-GPU로 오다보니 소프트웨어와 네트워킹이 충분히 성숙하기까지 시간이 걸리긴 했는데 그렇게 성숙시키고난 뒤가 2025년 하반기쯤이었습니다. 이때부터는 이제 13TB였기에 5T 모델도 하나의 랙 안에서 서비스할 수 있었습니다. API 비용의 세 가지 요소 API 비용을 역으로 살펴보기 (컨텍스트, 입출력 토큰, Cache hit/miss) LLM API 가격표에는 세 가지가 쓰여있다 GPT-5, Claude 4, Gemini 3의 내부 구조는 모르지만 API 가격표는 공개되어 있습니다. API 가격은 비용에 마진을 붙여서 책정되고, 비용은 물리학을 따릅니다.
여기에 사용자별 KV cache 및 동시 처리하는 batch까지 얹으면 실제 필요 용량은 훨씬 더 큽니다. Hopper 8-GPU 구조에는 1T 모델조차 함께 올리기 빠듯합니다. 반면 GB200 NVL72는 13TB이니 5T 모델에 더해서 KV cache까지 충분히 얹을 수 있고, GB300 NVL72는 20TB이니 10T 모델까지도 KV cache를 넣어서 서빙할 수 있습니다. 정리하자면 GPT-4 이후의 정체기는 모델 훈련의 이슈라기보다 그걸 서빙하기에 충분한 하드웨어가 없었던 시기입니다. 여기서 흥미로운 건 구글 TPU는 오래전부터 랙들을 Pod으로 연결하는 매우 큰 Scale-up 도메인을 갖고 있었기 때문에 다른 AI Labs들보다 한 단계씩 앞설 수 있었습니다. 이를 가장 잘 보여주는 것이 Gemini 2.5 Pro입니다.
당시 GPT 및 Claude와 비슷한 지능에 훨씬 저렴한 토큰 추론비용을 감당할 수 있었던 이유입니다. Pipeline Parallelism : 하나의 랙에 안 들어가면 Layer를 여러 랙 나눠 담자 그러면 Scale-up 도메인 메모리 용량이 작아서 모델이 랙 하나에 안 들어가면 여러 랙에 나눠 담는 조합을 생각해볼 수 있습니다. 그게 Pipeline Parllelism입니다. 세레브라스 자료에서 한 번 전해드렸던 내용입니다. Layer별로 나눠서 계산 후 데이터만 다음 랙으로 보내는 것입니다. 훈련에서는 이미 Pipelining이 보편화 되어 있으므로 이건 제외하고 추론에서 사용하는 것만 의미합니다. 다만, 일리야 수츠케버가 얘기한 것처럼 사실상 Pipeline Parllelism은 임시방편으로 2024~2025년에 많이 쓰였지만 지금은 큰 의미가 없습니다.
뭔가를 쪼개는 건 크게 세 가지 유형이 많습니다: Tensor Parllelism : 하나의 전문가를 쪼개서 연산 후 합쳐서 서빙하는 것 Expert Parllelism : 전문가를 GPU별로 나눠서 서빙하는 것 Pipeline Parllelism : 모델의 Layer들을 랙마다 나눠서 서빙하는 것 다만, HBM 용량 기준 H100은 640GB → H200은 1.13TB → GB200 NVL72는 13TB → GB300 NVL72는 20TB → VR200 NVL72는 20TB → VR300 NVL72는 150TB로 흘러감에 따라 랙 하나당 HBM 용량만 하더라도 10TB 수준으로 Scale-up 도메인 메모리 용량이 크게 증가한 이후로는 Pipeline Parllelism은 랙 간을 이동하는 통신이기도 하고 모델 아키텍처상 제약을 만들기에 선호받지 않고, Tensor Parllelism도 모델을 더 sparse하게 만드는 방법이 더 효율적이기 때문에 하나의 전문가가 이미 작아지니 그걸 더 작게 잘라도 통신이 병목이 되는지라 선호받지 않고 있습니다.
그래서 현실적으로 지금 많이 쓰이는 건 Expert Parllelism으로 하나의 Scale-up 도메인에 하나의 모델을 탑재하는 방식만 주로 쓰이고 있습니다. 메모리 용량은 어떻게 계산하는가? 메모리 용량 = (모델 weights의 크기) + (KV cahce의 크기) 간단한 버전 메모리 용량 = (N_total) + (Batch size x Context length x Bytes/token) 자세한 버전 *N_total = 모델의 전체 파라미터 수 (MoE면 Total parameter) *Batch size x Context length x Bytes/token = 모든 사용자의 KV cache 총합 이 둘이 모두 어딘가에 저장되어 있어야 합니다. 모델은 사용자의 요청을 받기 전에 메모리에 올라가 있어야 하고, KV cache는 매 토큰을 만들 때마다 읽고 써야 합니다.
GPU당 필요 메모리 = [(N_total) + (Batch size x Context length x Bytes/token)] ÷ (E x P) GPU에 나눠서 서빙할 때, 각 GPU당 올라갈 수 있는 메모리의 양 *E = Expert parllelism의 정도 (전문가를 몇 개의 GPU에 나눠 분산했는가) *P = Pipeline parllelism의 정도 (몇 개의 랙에 layer를 나눠 담았는가) 랙을 크게 만드는 이유는, 대역폭을 얻기 위해서이다 다시 정리하자면, Scale-up 도메인이 중요한 이유는 두 가지입니다. 메모리 대역폭 (Memory Bandwidth) : 같은 Scale-up 도메인 내의 모든 GPU는 weights를 병렬로 읽어낼 수 있습니다.
다른 랙의 GPU는 불가능합니다. 그래서 실효 메모리 대역폭은 Scale-up의 가속기 수 x GPU당 대역폭으로 결정됩니다. 그런데, GPU 한 개당 대역폭은 한 세대당 대략 2배씩 늘어나는데 Scale-up의 가속기 수가 Hopper → Blackwell로 오면서 8배 늘었습니다. 이게 대역폭 측면으로 보자면 어마어마한 개선이었습니다. 지연시간 (Latency) : 랙을 넘어가는 hop마다 몇 ms씩 latency가 추가됩니다. decode는 순차적인 작업이므로 latency가 누적됩니다. 한 토큰이 20ms에 만들어진다고 보면, hop 몇 개가 끼면 30ms가 됩니다. 50% 느려지는 것입니다. Scale-up 안에서 all-to-all로 이를 해결할 수 있다면 이러한 hop으로 인한 latency가 모두 사라지는 효과입니다.
여기까지 말씀드린 내용을 정리하면, GPT-4 이후로 3년간 모델의 크기가 생각보다 커지지 않은 이유는 이렇습니다. 모델을 더 크게 훈련시키는 건 가능했습니다. 훈련에서는 당연히 클러스터 규모만 생각하더라도 여러 랙에 걸친 Pipeline이 보편화되어 있기 때문에 여러 랙에 걸쳐서 훈련합니다. 훈련의 제약은 아닙니다. 하지만 훈련시킨 모델을 추론으로 띄우는 게 문제입니다. 추론에서는 사용자가 받는 latency가 중요하고, 그 latency는 Scale-up 도메인 내에서만 패널티 없이 유지됩니다. latency는 곧 토큰당 추론 비용을 결정합니다. Hopper 시절에는 이것이 640GB로 너무 작았습니다. 거대한 모델을 띄우려 하면 여러 랙에 걸쳐야 했고 Pipeline Parllelism이 있지만 그러면 hop이 생기니 랙 간의 통신에서 발생하는 latency가 발목을 잡습니다.
냉각 : 늘어난 전력만큼의 열을 빼내야 하는 이슈 케이블 밀도 : 커넥터 밀도, 백플레인 밀도, 굽힘 반경 한계 GPT-4 이후 3년의 시간은 어디로 갔을까? 흥미로운 포인트는 GPT-4가 2023년 초에 출시됐고 1T 파라미터를 돌파했는데, 그 후 거의 3년쯤 지나서야 의미 있는 더 큰 모델이 나오기 시작했다는 것입니다. 여기서 병목이었던 포인트는 충분한 큰 Scale-up 도메인이 없었다는 게 병목입니다. 쭉 정리해보면 이렇습니다. 2023년 : Hopper 8-GPU (80GB * 8) → Scale-up 도메인 내 메모리 640GB 2025년 : Blackwell NVL72 (192*72 ~ 288*72) → Scale-up 도메인 내 메모리 13~20TB 1T 파라미터 모델은 weights만 1TB가 필요합니다.
상승 관점 보조 신호 · 가격 충격·지속성·후속 근거
장대양봉급 뉴스
근거 미확인- 이 자료에서 판단할 근거를 확보하지 못했습니다.
지속 턴어라운드
근거 미확인- 이 자료에서 판단할 근거를 확보하지 못했습니다.
셀온 뒤 재상승 근거
근거 미확인- 이 자료에서 판단할 근거를 확보하지 못했습니다.