25-7 GB200 NVL72의 TCO 대비 성능 개선
작성자의 핵심 판단
작성자는 성능 대비 총소유비용(TCO) 개선으로 올해 말까지 모델 개발·추론비용·제품개발의 가속이 나타날 것으로 예상한다.
근거 보기 2
- 원문 구간 1
추론 수요가 늘면서 수요가 강해지고 있음을 확인하고 있고, 4Q24부터 채택이 시작된 Reasoning → 1Q25부터 채택이 본격화된 Agentic AI도 아직 다 활용하고 있지 않은 상황입니다. GB200 NVL72의 소프트웨어가 7월부터 Hopper만큼 안정화되기 시작(코어위브 및 마이크로소프트 기준 대량배치는 2025년 2월부터 시작)했습니다. 향후 3~6개월 내로 퍼포먼스 대비 TCO는 H100 대비 ~5배까지 좋아지게 되므로(엔비디아는 25년 12월까지 GB200 NVL72가 BF16 기준 H100보다 4.7배 더 높은 성능을 보일 것이라 예상) 올해 연말까지 AI 모델 개발, 추론비용 하락세, 제품개발 등 모든 지표에서 가속을 보게 될 거라 예상합니다.
- 원문 구간 2
Enterprise AI - SAP(-0.6%), NOW(+0.4%), NTNX(+2.5%), TWLO(-1.4%) : (1) 어제 하락 노이즈에도 펀더멘탈은 달라진 게 없습니다. GB200 NVL72가 2025년 7월을 기점으로 Performance per TCO에서 H100/H200보다 우수해지기 시작했는데, 3~6개월 내로 보통 더블링됨을 생각해보면 올 하반기가 되면 지능당 추론비용은 매월 계속해서 낮아질 가능성이 있다는 의미입니다. 엔터프라이즈AI 채택은 더 늘어날 것인데 이 사이에도 새로운 애플리케이션이 늘거나, 기업들의 IT Budget 전환이 어디로 쏠리는지를 잘 봐야 하는 구간입니다.
이 자료에서 다룬 사실
GB200 NVL72 소프트웨어가 2025년 7월부터 Hopper 수준으로 안정화되기 시작했고, 코어위브와 마이크로소프트 기준 대량배치는 2025년 2월부터 시작됐다고 적었다.
근거 보기 1
- 원문 구간 1
추론 수요가 늘면서 수요가 강해지고 있음을 확인하고 있고, 4Q24부터 채택이 시작된 Reasoning → 1Q25부터 채택이 본격화된 Agentic AI도 아직 다 활용하고 있지 않은 상황입니다. GB200 NVL72의 소프트웨어가 7월부터 Hopper만큼 안정화되기 시작(코어위브 및 마이크로소프트 기준 대량배치는 2025년 2월부터 시작)했습니다. 향후 3~6개월 내로 퍼포먼스 대비 TCO는 H100 대비 ~5배까지 좋아지게 되므로(엔비디아는 25년 12월까지 GB200 NVL72가 BF16 기준 H100보다 4.7배 더 높은 성능을 보일 것이라 예상) 올해 연말까지 AI 모델 개발, 추론비용 하락세, 제품개발 등 모든 지표에서 가속을 보게 될 거라 예상합니다.
그렇게 판단한 이유
3~6개월 안에 GB200 NVL72의 성능 대비 TCO가 H100보다 약 5배 좋아지고, 엔비디아는 2025년 12월 BF16 기준 성능이 H100보다 4.7배 높을 것으로 예상한다는 연결이다.
근거 보기 1
- 원문 구간 1
추론 수요가 늘면서 수요가 강해지고 있음을 확인하고 있고, 4Q24부터 채택이 시작된 Reasoning → 1Q25부터 채택이 본격화된 Agentic AI도 아직 다 활용하고 있지 않은 상황입니다. GB200 NVL72의 소프트웨어가 7월부터 Hopper만큼 안정화되기 시작(코어위브 및 마이크로소프트 기준 대량배치는 2025년 2월부터 시작)했습니다. 향후 3~6개월 내로 퍼포먼스 대비 TCO는 H100 대비 ~5배까지 좋아지게 되므로(엔비디아는 25년 12월까지 GB200 NVL72가 BF16 기준 H100보다 4.7배 더 높은 성능을 보일 것이라 예상) 올해 연말까지 AI 모델 개발, 추론비용 하락세, 제품개발 등 모든 지표에서 가속을 보게 될 거라 예상합니다.
작성자가 예상한 다음 전개
추론비용은 하반기에 매월 계속 낮아질 가능성이 있으며, 그에 따라 엔터프라이즈 AI 채택이 더 늘 수 있다고 본다.
근거 보기 1
- 원문 구간 1
Enterprise AI - SAP(-0.6%), NOW(+0.4%), NTNX(+2.5%), TWLO(-1.4%) : (1) 어제 하락 노이즈에도 펀더멘탈은 달라진 게 없습니다. GB200 NVL72가 2025년 7월을 기점으로 Performance per TCO에서 H100/H200보다 우수해지기 시작했는데, 3~6개월 내로 보통 더블링됨을 생각해보면 올 하반기가 되면 지능당 추론비용은 매월 계속해서 낮아질 가능성이 있다는 의미입니다. 엔터프라이즈AI 채택은 더 늘어날 것인데 이 사이에도 새로운 애플리케이션이 늘거나, 기업들의 IT Budget 전환이 어디로 쏠리는지를 잘 봐야 하는 구간입니다.