2026.11.02 · 유튜브 · Six Sigma | 식스시그마

AI는 노는 칩을 남기지 않는다｜샘 올트먼·닐 모바

유튜브 원문 보기 별의순간 텔레 요약 바로가기 분석 기준 보기

유형
유튜브
날짜
2026.11.02
강연자/작성자
Six Sigma | 식스시그마
분석 주제
미지정
자료 길이
전사문 12,438자
1

문서 전체 조망

핵심 구조

AI 공급 부족을 푸는 길: 메모리·유휴 GPU·추론의 경제학

칩이 부족하다고 새 칩만 기다릴 수는 없잖아요.

메모리 증설이 더딘 이유부터 놀고 있는 GPU, 다른 칩과 전력을 모으는 방식, 학습과 달라진 추론 수요까지 연결해 봅니다.

칩 배분은 가격만으로 정해지지 않아요

  • 엔비디아는 돈을 가장 많이 내는 고객에게 칩을 전부 넘기는 방식의 장기적인 영향도 생각해요.
  • 컴퓨트가 권력이 된 만큼 배분은 전략적이고, 빌리는 쪽도 관계와 자금력을 증명해야 하죠.
  • 설립 몇 달 된 스타트업이 칩 1만 개를 3년이나 5년 빌리겠다고 해도, 그 돈을 낼 수 있을지는 별개예요.
🔎 자세히 읽기 이유·근거·조건
💡 가장 높은 가격만 받지 않는 이유
  • 엔비디아도 다른 공급업체들처럼 가격을 크게 올릴 수는 있어요. 그러면 수요와 공급이 어느 가격에서 만나겠죠.
  • 그런데 자금력이 가장 큰 고객이 칩을 모두 가져가고, 그 고객의 힘이 훨씬 커진다면 엔비디아에는 장기적으로 불리할 수 있잖아요. 지금 컴퓨트는 권력이기 때문에, 칩을 누구에게 배분할지도 전략적으로 생각한다는 거예요.
📎 원문 근거 1 · 2
⚙️ 임대 주문에도 신용이 필요해요
  • 새 스타트업이 블랙웰 1만 개를 3년이나 5년 동안 빌리겠다고 하는 상황을 생각해 보세요. 회사가 운영된 지 몇 달밖에 안 됐다면, 그 기간에 돈을 제대로 낼 수 있을지 누가 알겠어요?
  • 그래서 컴퓨트를 확보하려면 아주 좋은 관계나 대단히 강한 재무적 뒷받침이 필요해요. 희소성은 높고 수요는 엄청나니까, 주문 의향만으로 접근권을 얻기는 어렵다는 거죠.
📎 원문 근거 3 · 4
📎 이 주제의 원문 근거 · 6개

근거 1 · 관련 설명: 가장 높은 가격만 받지 않는 이유

They understand that compute is power today and so uh they're quite strategic about how they allocate compute.

근거 2 · 관련 설명: 가장 높은 가격만 받지 않는 이유

if they just let the most deep pockets buy all the chips that maybe hurts them in the long term

근거 3 · 관련 설명: 임대 주문에도 신용이 필요해요

I'm going to rent 10,000 black wells for for 3 years or 5 years.

근거 4 · 관련 설명: 임대 주문에도 신용이 필요해요

requires some pretty either great relationships or uh just incredible financial backing

근거 5 · 관련 설명: 전사 주의 1

this immense demand for the black hole chips

근거 6 · 관련 설명: 전사 주의 1

10,000 black wells

메모리는 비싸져도 공장이 바로 늘지 않아요

  • 높은 가격이 공급을 부른다는데, 메모리에서는 그 해결책이 빨리 오지 않아요.
  • 과거 과잉 증설로 여러 번 데었던 기억이 투자를 조심스럽게 만들고, 새 공장을 대거 늘리는 일도 쉽지 않거든요.
  • HBM 부족의 영향을 과소평가하고 있다는 판단과, 아이폰의 메모리 축소·가격 상승 전망까지 나와요.
🔎 자세히 읽기 이유·근거·조건
💡 높은 가격 다음의 공급은 어디 있죠?
  • 메모리와 GPU 가격은 이미 높아요. 높은 가격의 해결책이 높은 가격이라면, 이제 공급이 늘어나는 해법이 나와야 하는 것 아닌가요?
  • 그런데 상황이 좋지 않다는 거예요. 메모리가 비싸졌으니 새 업체들이 곧 쏟아져 들어올 것이라는 기대와 달리, 여기서는 보이지 않는 손이 제대로 작동하지 않는 것 같다는 문제 제기예요.
📎 원문 근거 1 · 2
💡 증설의 기억이 남아 있어요
  • 오랫동안 DRAM은 설비투자에 200억 달러를 쓰고 190억 달러를 버는 식의 사업이었다는 비유예요. 어떤 해에는 210억 달러, 어떤 해에는 180억 달러를 벌면서 호황과 불황을 오갔으니, 장기간 좋은 사업이었다고 보기 어렵다는 거죠.
  • 갑자기 업체마다 연간 1,000억 달러 정도의 잉여현금흐름을 벌 수도 있다는 강한 전망이 나오지만, 그 수익이 이미 실현됐다는 이야기는 아니에요. 공장을 너무 많이 지었다가 파산 직전까지 갔던 경험과 '이번에는 다르다'는 약속을 기억하니, 지금도 설비투자에는 보수적이라는 설명이에요.
📎 원문 근거 3 · 4 · 5 · 6
🔭 효율화만으로 돌아갈 수 있을까요?
  • HBM이 얼마나 부족해질지 그 영향을 과소평가하고 있다고 생각해요. 메모리 공장을 대거 더 늘릴 쉬운 방법이 없고, 과거 경기순환에 데었던 업체들도 큰 설비투자를 반기지 않으니까 시간이 걸린다는 거죠.
  • 그러면 다른 부분을 더 효율적으로 만들어 부족을 우회하면 되지 않을까요? 여기에 대한 답은, 오히려 시스템의 다른 것들이 더 비싸질 거라는 쪽이에요. 아이폰은 메모리를 줄이고 가격은 올라갈 수 있으며, 결국 그 상황을 감당해야 할 거라는 전망이에요.
📎 원문 근거 7 · 8 · 9
📎 이 주제의 원문 근거 · 9개

근거 1 · 관련 설명: 높은 가격 다음의 공급은 어디 있죠?

they say the solution to high prices is high prices.

근거 2 · 관련 설명: 높은 가격 다음의 공급은 어디 있죠?

I think the invisible hand is failing right now.

근거 3 · 관련 설명: 증설의 기억이 남아 있어요

you would invest $20 billion of capex to make $19 billion

근거 4 · 관련 설명: 증설의 기억이 남아 있어요

years you would make $21 billion some years you would make $18 billion

근거 5 · 관련 설명: 증설의 기억이 남아 있어요

these guys are each going to make like a hundred billion dollars of like free cash flow in a year.

근거 6 · 관련 설명: 증설의 기억이 남아 있어요

Which leads them to be conservative in their capex.

근거 7 · 관련 설명: 효율화만으로 돌아갈 수 있을까요?

I think they've underpriced the impact of how short we're going to be on HBM.

근거 8 · 관련 설명: 효율화만으로 돌아갈 수 있을까요?

There's no easy way to bring on a lot more fabs of memory.

근거 9 · 관련 설명: 효율화만으로 돌아갈 수 있을까요?

Think that iPhones will cut their memory. iPhones are going to go up in price

부족한데도 놀고 있는 칩이 많아요

  • 한정된 DRAM을 각자 컴퓨터에 넣고 5%만 쓴다면, 세계 전체의 자원 배분으로는 좋지 않아요.
  • 클라우드에서 사용률을 높이고, 창고와 사설 풀에 묶인 GPU를 더 잘 연결할 필요가 있다는 거죠.
  • 올해 블랙웰 500만 개가 나온다는 발언 뒤에도, 그 칩을 모두 항상 쓰고 있느냐는 질문이 이어져요.
🔎 자세히 읽기 이유·근거·조건
⚙️ 로컬 추론과 세계 전체의 배분
  • 공개 모델을 내 컴퓨터에서 실행하면 데이터센터가 필요 없어질 거라고 생각하기 쉽잖아요. 그런데 공급이 매우 제한돼 있다면, 전 세계의 한정된 DRAM을 개인 컴퓨터마다 쌓아 두고 시간의 5%만 사용하는 건 배분 측면에서 좋지 않아요.
  • 이 조건에서는 클라우드에 모아서 최대한 많이 쓰는 편을 원한다는 거예요. 로컬 실행이 가능하다는 것과 부족한 자원을 세계 전체에서 효율적으로 쓴다는 것은 같은 문제가 아니라는 지적이죠.
📎 원문 근거 1 · 2 · 3
💡 출하량과 실제 사용은 달라요
  • 엔비디아가 올해 블랙웰 500만 개를 내놓는다고 하는데, 그 칩은 다 어디로 가는 걸까요? 모두 항상 사용되고 있는지는 상당히 의심스럽다는 거예요.
  • 컴퓨트 상당량이 외부에서 접근할 수 없는 사설 풀로 들어가고, GPU가 창고에 있거나 특정 고객에게 할당된 채 활용되지 않는다는 관찰이 이어져요. 실리콘과 전력을 들여 만든 GPU가 그냥 쉬고 있는 모습을 보면 몸이 아플 정도라는 표현까지 나와요.
📎 원문 근거 4 · 5 · 6
🧭 공유 자원처럼 더 촘촘히 쓰기
  • 그래서 전 세계 컴퓨트를 공유 자원처럼 조직하고, 작업을 배치하고, 더 촘촘하게 활용하는 문제를 풀고 싶다는 거예요. 사설 풀 안에 갇힌 자원이 많아서 쉬운 일은 아니지만요.
  • xAI의 클러스터 연산 활용률 문제를 두고 사람들이 놀리기도 하잖아요. 그런데 다른 곳의 현실은 훨씬 더 나쁠 거라는 추정이에요. 특정 기업의 낮은 활용률만 지적하는 데서 끝내지 않고, 세계 전체의 배치와 운영 효율을 문제 삼는 거죠.
📎 원문 근거 7 · 8
📎 이 주제의 원문 근거 · 8개

근거 1 · 관련 설명: 로컬 추론과 세계 전체의 배분

a lot of people want local inference

근거 2 · 관련 설명: 로컬 추론과 세계 전체의 배분

DRAM sitting in their own computer and being used 5% of the time.

근거 3 · 관련 설명: 로컬 추론과 세계 전체의 배분

you want maximum utilization in a cloud if you're trying to like deal with this very supply constraint environment.

근거 4 · 관련 설명: 출하량과 실제 사용은 달라요

Nvidia is pumping out 5 million Blackwell chips this year.

근거 5 · 관련 설명: 출하량과 실제 사용은 달라요

a lot of the compute disappears into private pools of compute

근거 6 · 관련 설명: 출하량과 실제 사용은 달라요

A ton of GPUs just sit in warehouses or sit in private pools allocated to a specific customer

근거 7 · 관련 설명: 공유 자원처럼 더 촘촘히 쓰기

organize and orchestrate the world's compute as a shared resource and and pack it more efficiently.

근거 8 · 관련 설명: 공유 자원처럼 더 촘촘히 쓰기

the reality for the rest of the world is it's far far worse.

나쁜 칩보다 잘못된 가격이 문제예요

  • 가격만 맞으면 어떤 칩이든 쓸 수 있다는 접근이에요.
  • AMD는 칩 자체보다 프로그래밍과 커널 최적화에 남은 여지가 크고, 사람들이 덜 좋다고 보는 인식도 싸게 확보할 기회가 된다는 거죠.
  • 엔비디아에 대한 단기 낙관과, 같은 연산을 기준으로 한 세대별 전력 효율 개선에 대한 의문은 함께 나와요.
🔎 자세히 읽기 이유·근거·조건
🧭 칩을 가격과 함께 봐요
  • 다른 칩을 열등하다고 부르고 싶지는 않아요. 나쁜 칩이 있는 게 아니라 가격이 잘못됐을 뿐이고, 가격만 맞으면 어떤 칩이든 작동하게 만들겠다는 게 회사의 기본 태도라는 거예요.
  • AMD도 전반적으로 좋은 칩이라고 봐요. 문제는 사람들이 어떻게 프로그래밍해야 하는지 잘 모른다는 것이고, 그래서 하드웨어 성능을 끝까지 끌어내는 커널 팀에 공을 들인다는 거죠.
📎 원문 근거 1 · 2 · 3
📌 덜 최적화된 곳에 남은 기회
  • 엔비디아는 자사 칩의 성능을 끌어내는 일을 꽤 잘해요. 거기서도 추가 성능을 얻을 수는 있지만, 다른 칩에서는 공급업체가 기본 커널을 최적화해 주는 작업이 상대적으로 적어서 할 일이 더 많다는 거예요.
  • 발화상의 매입 판단도 여기에 연결돼요. 다른 사람들이 AMD를 엔비디아만큼 좋지 않다고 생각한다면 오히려 반갑고, 그들이 관심을 덜 두는 동안 자신은 최대한 많이 사고 싶다는 거죠.
📎 원문 근거 4 · 5 · 6
⚖️ 세대 이름보다 같은 연산의 효율
  • 엔비디아에는 단기적으로 낙관적이고, 계속 자신을 재창조하니 반대로 베팅하면 안 된다는 것이 발화자의 투자 판단이에요. 그러면서도 세대별 칩을 같은 조건의 특정 곱셈 연산으로 비교하면, 전력당 성능이 그렇게 많이 좋아지지는 않았다는 별도의 주장을 해요.
  • TSMC의 5·4·3·2나노 공정도 전력당 성능 변화가 극적이지 않다고 봐요. 전체 시스템 성능이 모두 같다는 주장이 아니라, 비교하는 연산과 전력 효율을 좁혀서 던지는 질문이에요.
📎 원문 근거 7 · 8 · 9
📎 이 주제의 원문 근거 · 11개

근거 1 · 관련 설명: 칩을 가격과 함께 봐요

there's no bad chips. There's only bad pricing.

근거 2 · 관련 설명: 칩을 가격과 함께 봐요

The challenge is that people don't um understand how to program them very well.

근거 3 · 관련 설명: 칩을 가격과 함께 봐요

We're so serious about squeezing the performance out of the hardware.

근거 4 · 관련 설명: 덜 최적화된 곳에 남은 기회

Nvidia is pretty good at doing that for their own chips.

근거 5 · 관련 설명: 덜 최적화된 곳에 남은 기회

there's a lot more to be done on other chips

근거 6 · 관련 설명: 덜 최적화된 곳에 남은 기회

I'm very happy for them to sleep on this chip and for me to buy as much as I can.

근거 7 · 관련 설명: 세대 이름보다 같은 연산의 효율

I am bullish on Nvidia in the short term

근거 8 · 관련 설명: 세대 이름보다 같은 연산의 효율

you compare like for like like what is the performance per watt of Bflat 16 multiply it hasn't improved all that much

근거 9 · 관련 설명: 세대 이름보다 같은 연산의 효율

TSMC 5 nanometer versus four versus three versus two

근거 10 · 관련 설명: 전사 주의 1

Hopper to Blackwell to Reuben

근거 11 · 관련 설명: 전사 주의 1

the performance per watt of Bflat 16 multiply

남들이 쓰기 어려운 칩과 전력을 모아요

  • 최상급 칩과 완벽한 데이터센터만 고집하지 않아요.
  • 칩 가격·공급량·전력·입지를 함께 맞추고, 다른 고객이 외면할 가동률 95%의 시설까지 받아들이며 분산된 공급을 모으겠다는 전략이에요.
  • OpenAI·Anthropic과 같은 물량을 놓고 입찰하기보다, 작은 제철소들을 모으듯 경제성이 좋은 공장을 만들겠다는 비유예요.
🔎 자세히 읽기 이유·근거·조건
🧭 최악의 칩에도 자리가 있다면
  • 같은 공정에서 나온 칩도 가장 좋은 것과 가장 나쁜 것 사이에는 편차가 있어요. TSMC 같은 업체는 그 차이를 줄이려고 공정을 아주 정교하게 관리하는데, 그 관리에는 시간과 비용이 들어간다는 거죠.
  • 그런데 성능이 떨어지는 칩에도 쓸 자리를 찾을 수 있다면 어떨까요? 더 많은 불량 판정 칩을 받아들일 의향도 있다는 가정 아래, 개별 칩의 완벽함보다 칩 가격과 공급량, 전력 비용, 설치할 장소를 함께 최적화하겠다는 접근이에요.
📎 원문 근거 1 · 2 · 3
📌 가동률 95%도 사겠다는 이유
  • 미국의 전력 공급을 크게 늘려서, 기존 기준으로는 데이터센터에 들어갈 자격을 얻지 못했을 칩에도 자리를 마련하고 싶다는 목표예요. 그 과정에서 어떤 시설은 가동률이 95%까지 내려가도 놀랍지 않다고 해요.
  • 95%는 다른 고객에게는 아주 나쁘고 치명적이어서, 그런 데이터센터를 살 사람이 사실상 없을 거라는 평가예요. 그런데 바로 그 첫 구매자가 되겠다는 거죠. 모든 시설이 이미 그 가동률로 운영되고 있다는 이야기가 아니라, 받아들일 수 있는 공급의 범위를 넓히겠다는 의향이에요.
📎 원문 근거 4 · 5 · 6
🧭 거대한 한 곳보다 작은 공장들의 합
  • 먼저 칩을 찾아 모으고, 그 칩에 쓸 전력을 찾아 모아요. OpenAI나 Anthropic과 같은 컴퓨트 물량을 놓고 입찰 경쟁을 벌이면 이기지 못하고, 그렇게 하고 싶지도 않다는 거예요.
  • 대신 그들이 지금 활용 대상으로 알아보지 못하는 공급을 창의적으로 쓰고, 시간이 지나면서 총량을 쌓겠다는 전략이에요. 한곳에 집중된 공급을 얻는 대신 분산된 공급을 합쳐 경제성에서 이기겠다는 거죠.
  • 세계 최고의 제철소를 만들되 거대한 단일 제철소가 아니라 작은 제철소들을 통해 만들겠다는 비유가 나와요. 이미 경제성이 입증됐다는 결론보다는, 그렇게 공장을 짓고 있다는 목표와 방식이에요.
📎 원문 근거 7 · 8 · 9 · 10
📎 이 주제의 원문 근거 · 10개

근거 1 · 관련 설명: 최악의 칩에도 자리가 있다면

a lot of spread in their like worst chip that comes out of the production line and the best chip

근거 2 · 관련 설명: 최악의 칩에도 자리가 있다면

Maybe I'm actually willing to find a place for that worst chip.

근거 3 · 관련 설명: 최악의 칩에도 자리가 있다면

cost of the dies, supply of the dies and then the cost of power and places we can put them.

근거 4 · 관련 설명: 가동률 95%도 사겠다는 이유

I have a home for a lot of ships that otherwise would not have earned earned their place in a data center.

근거 5 · 관련 설명: 가동률 95%도 사겠다는 이유

I won't be surprised if some of them get down to like 95% uptime

근거 6 · 관련 설명: 가동률 95%도 사겠다는 이유

I'm that first buyer. I will buy 95% up time.

근거 7 · 관련 설명: 거대한 한 곳보다 작은 공장들의 합

first we scavenge chips and then we scavenge power for those chips.

근거 8 · 관련 설명: 거대한 한 곳보다 작은 공장들의 합

I do not want to be in bidding against Anthropic or OpenAI for compute capacity.

근거 9 · 관련 설명: 거대한 한 곳보다 작은 공장들의 합

I'm never going to get concentrated supply. I will only get a aggregate supply

근거 10 · 관련 설명: 거대한 한 곳보다 작은 공장들의 합

it will come through mini mills not through large monolithic steel plants.

추론은 미래를 기다리는 소비가 아니에요

  • 컴퓨트에는 과열도 불황도 공급 과잉도 생길 수 있어요.
  • 다만 충분히 유능하고 저렴한 모델의 수요는 늘어난다고 봐요.
  • 토큰은 미래를 기대해 쌓아 두는 게 아니라 지금 가치가 있어서 바로 쓰니까요.
  • 25년 전 네트워크 투자, 2023~2024년 학습용 칩 부족과 지금의 추론 지출은 성격이 다르다는 주장이에요.
🔎 자세히 읽기 이유·근거·조건
🔭 순환은 있어도 더 많은 컴퓨트를 원해요
  • 이렇게 중요한 새로운 기술에서는 비이성적인 과열도 생기고, 무너지는 순간도 있고, 부족과 과잉도 오갈 거예요. 그 가능성을 부정하는 이야기는 아니에요.
  • 그럼에도 충분히 유능한 모델이 충분히 낮은 가격에 제공될 때의 수요는 한 방향으로 간다고 생각해요. 토큰을 가능한 한 싸게 만들기 위해 기술 스택의 모든 층을 쓰고, 칩과 전력, 적합한 땅까지 공급 측 수단을 동원하겠다는 목표와 연결되는 거죠.
📎 원문 근거 1 · 2 · 3
⚖️ 25년 전 네트워크 투자와 다른 점
  • 시스코가 세계에서 가장 가치 있는 회사였고 인텔도 그 뒤에 있던, 약 25년 전을 떠올려 봐요. 당시 네트워크 장비 투자에는 앞으로 사용자가 늘어날 것이라는 기대가 많이 들어갔지만, 예상했던 수요가 오지 않았다는 설명이에요.
  • 지금의 토큰 소비가 다르다고 보는 이유는 사람들이 당장 가치가 있어서 토큰을 산다는 거예요. 보유해 두는 게 아니라 즉시 사용하니까, 미래 사용자를 기다리며 장비를 사 두던 투자와 구별하는 거죠.
📎 원문 근거 4 · 5 · 6
🔭 학습 지출에서 추론 지출로
  • 2023~2024년 호퍼 세대의 공급 부족 때도 지금과는 달랐다고 봐요. 당시 지출은 학습 중심이었고, 학습은 본질적으로 미래의 성과를 기대하는 투자라는 거죠.
  • 이제는 사용 지출에 한도를 둘 정도의 상황을 이야기하고 있어요. 그래서 추론 지출을 논하고 그 증가를 예상하는 것은 전혀 다른 문제이며, 추론 지출은 계속 증가한다고 생각한다는 강한 전망으로 끝나요. 실제 증가가 계속 확인됐다는 사실과는 구분해야 해요.
📎 원문 근거 7 · 8 · 9
📎 이 주제의 원문 근거 · 11개

근거 1 · 관련 설명: 순환은 있어도 더 많은 컴퓨트를 원해요

My job is to make the tokens as cheap as humanly possible.

근거 2 · 관련 설명: 순환은 있어도 더 많은 컴퓨트를 원해요

There going to be moments of constraint and glut and up and down

근거 3 · 관련 설명: 순환은 있어도 더 많은 컴퓨트를 원해요

the demand for sufficiently capable models at a sufficiently low price.

근거 4 · 관련 설명: 25년 전 네트워크 투자와 다른 점

a lot of the investment in networking equipment historically was speculative.

근거 5 · 관련 설명: 25년 전 네트워크 투자와 다른 점

We anticipated this future demand for users that never came.

근거 6 · 관련 설명: 25년 전 네트워크 투자와 다른 점

People buy tokens because they're immediately valuable to them.

근거 7 · 관련 설명: 학습 지출에서 추론 지출로

a supply crunch for hopper generation chips in 2023 2024.

근거 8 · 관련 설명: 학습 지출에서 추론 지출로

it was all training oriented spend and training is inherently speculative.

근거 9 · 관련 설명: 학습 지출에서 추론 지출로

I do think inference spent monotonically increases.

근거 10 · 관련 설명: 전사 주의 1

Samsung. SKT. HB. Fore speech.

근거 11 · 관련 설명: 전사 주의 2

everyone is instituting caps on how much you can spend on cloud code.
ANALYSIS VIEW사건별 사실과 작성자의 판단, 지속 정보를 나누어 읽기
2
사실·구조, 해석·전망, 시점 관찰, 판단 방법

지식·관점

사건 밖에서도 다시 참고하거나 다른 자료와 비교할 가치가 있는 내용을 대상과 반복 가능한 논점으로 묶습니다.

해석·전망엔비디아의 컴퓨트 배분과 고객 신용주 대상 · 기업·종목 · 엔비디아관련 대상 · 기술·제품 · AI 컴퓨트

칩 공급이 부족할 때 가격 외에 무엇이 컴퓨트 접근권을 결정하나요?

이 자료가 더한 내용

  • 컴퓨트가 권력이 된 상황에서 엔비디아는 최고 가격을 제시하는 고객에게 공급을 몰아주는 것의 장기적 영향을 고려해 전략적으로 배분한다는 해석이에요.
  • 희소성이 높은 시장에서 컴퓨트를 빌리려면 관계나 강한 재무적 뒷받침이 필요하다는 설명이에요.
근거 보기 2
  1. 원문 구간 1

    I'm curious what you think about about that narrative. Yeah. Okay. A couple things. Number one, uh yes, basically Nvidia has a long-term view on uh on all their chips. They they see this immense demand for the black hole chips and they they could do what other suppliers have done in the past, which is like just crank prices and made the market, you know, supply and demand curves will correct. They'll intersect at some point and everyone will be technically happier. But Nvidia sees the if they just let the most deep pockets buy all the chips that maybe hurts them in the long term if that customer ends up acrewing a lot of more power. They understand that compute is power today and so uh they're quite strategic about how they allocate compute. That's the first thought.

  2. 원문 구간 2

    The second thought is that relationships matter a lot. Nobody wants to have a huge order of of a chip rental come in from this new startup that says, "Oh yeah, I'm going to rent 10,000 black wells for for 3 years or 5 years." The startup has only been operating for months typically. Who knows whether they're good for the money. the the way you convince someone to give you access to compute is is quite challenging uh these days and requires some pretty either great relationships or uh just incredible financial backing to make this happen on the Nvidia side and it's all because the scarcity is so high and demand is just off the charts. Like my observation the computer stuff is they say the solution to high prices is high prices. It's like okay step one we have the high prices for memory and GPUs and everything and the solutions should be here any moment now.

원문에서 제시한 근거

설립 몇 달 된 스타트업이 블랙웰 1만 개를 3년 또는 5년 임대하겠다고 해도, 지급 능력을 신뢰할 수 있는지는 별개라는 예를 들어요.

근거 보기 1
  1. 원문 구간 1

    The second thought is that relationships matter a lot. Nobody wants to have a huge order of of a chip rental come in from this new startup that says, "Oh yeah, I'm going to rent 10,000 black wells for for 3 years or 5 years." The startup has only been operating for months typically. Who knows whether they're good for the money. the the way you convince someone to give you access to compute is is quite challenging uh these days and requires some pretty either great relationships or uh just incredible financial backing to make this happen on the Nvidia side and it's all because the scarcity is so high and demand is just off the charts. Like my observation the computer stuff is they say the solution to high prices is high prices. It's like okay step one we have the high prices for memory and GPUs and everything and the solutions should be here any moment now.

해석·전망메모리의 설비투자 이력과 HBM 공급 반응주 대상 · 산업·업종 · 메모리 반도체관련 대상 · 기술·제품 · HBM관련 대상 · 기술·제품 · DRAM

메모리 가격이 높아져도 공급이 빠르게 늘지 않는 이유는 무엇인가요?

이 자료가 더한 내용

  • 과거 과잉 증설과 호황·불황을 경험한 메모리 생산자들이 설비투자에 보수적이어서, 높은 가격이 곧바로 충분한 공급을 만들지 못한다는 해석이에요.
  • HBM 부족의 영향을 과소평가하고 있고 메모리 공장을 대거 늘리기도 어렵다는 판단이에요. 아이폰의 메모리 축소와 가격 상승은 이 부족에 관한 전망으로 제시돼요.
근거 보기 3
  1. 원문 구간 1

    How are we doing on the solutions front? Uh bad. And I'm not saying this is open's job. I feel like this is the invisible hand's job, right? Like memory's gotten really expensive and so new memory makers are going to flood the market any moment now. I think the invisible hand is failing right now. I mean the invisible hand it has like a checkered track record at best. Um but I think it's like not quite working here. Uh why not? like is it just hysteresus or I think it's I I think the like specifics of each area matter here but in the you started with the memory guys like you know for a very long time if you were a producer of DRAM you would invest $20 billion of capex to make $19 billion and and you would go through these like booms and busts like maybe some

  2. 원문 구간 2

    years you would make $21 billion some years you would make $18 billion but like until right now I don't think I don't think making memory has ever been a great business over a long period of time and then all of a sudden, you know, these guys are each going to make like a hundred billion dollars of like free cash flow in a year. Unbelievable. Um but but I think they all like remember their history and how many times they almost went bankrupt by making too many fabs and being promised this time it was different. Which leads them to be conservative in their capex. I think they've underpriced the impact of how short we're going to be on HBM. we're gonna push really hard in this other direction instead, which you know, as a as a side, I do think is probably the thing to attack most.

  3. 원문 구간 3

    Why? There's no easy way to bring on a lot more fabs of memory. And those guys have been So, it's going to be a while until we have a while. Yeah. Yeah. The boys in Boise don't uh don't love huge capex for for cyclical. They they've been burnt on that many times. But conceivably, like because of that shortage, the world is just going to route around it by making everything else in the system more efficient. I think they're going to make everything else more expensive. Think that iPhones will cut their memory. iPhones are going to go up in price and um we're just going to have to deal with it. An example of this is people a lot of people want local inference and somehow they assume that like the problem is solved now because we going to have open source models.

원문에서 제시한 근거

  • 설비투자에 200억 달러를 쓰고 190억 달러를 벌며, 해마다 210억 달러와 180억 달러 사이를 오가는 식의 과거 사업성을 예로 들어요. 업체별 연간 1,000억 달러 잉여현금흐름 언급은 확정 실적이 아니라 전망이에요.
  • 공장을 너무 많이 지었다가 여러 번 거의 파산할 뻔한 기억과 신규 공장 공급의 어려움을 연결해요.
근거 보기 3
  1. 원문 구간 1

    How are we doing on the solutions front? Uh bad. And I'm not saying this is open's job. I feel like this is the invisible hand's job, right? Like memory's gotten really expensive and so new memory makers are going to flood the market any moment now. I think the invisible hand is failing right now. I mean the invisible hand it has like a checkered track record at best. Um but I think it's like not quite working here. Uh why not? like is it just hysteresus or I think it's I I think the like specifics of each area matter here but in the you started with the memory guys like you know for a very long time if you were a producer of DRAM you would invest $20 billion of capex to make $19 billion and and you would go through these like booms and busts like maybe some

  2. 원문 구간 2

    years you would make $21 billion some years you would make $18 billion but like until right now I don't think I don't think making memory has ever been a great business over a long period of time and then all of a sudden, you know, these guys are each going to make like a hundred billion dollars of like free cash flow in a year. Unbelievable. Um but but I think they all like remember their history and how many times they almost went bankrupt by making too many fabs and being promised this time it was different. Which leads them to be conservative in their capex. I think they've underpriced the impact of how short we're going to be on HBM. we're gonna push really hard in this other direction instead, which you know, as a as a side, I do think is probably the thing to attack most.

  3. 원문 구간 3

    Why? There's no easy way to bring on a lot more fabs of memory. And those guys have been So, it's going to be a while until we have a while. Yeah. Yeah. The boys in Boise don't uh don't love huge capex for for cyclical. They they've been burnt on that many times. But conceivably, like because of that shortage, the world is just going to route around it by making everything else in the system more efficient. I think they're going to make everything else more expensive. Think that iPhones will cut their memory. iPhones are going to go up in price and um we're just going to have to deal with it. An example of this is people a lot of people want local inference and somehow they assume that like the problem is solved now because we going to have open source models.

판단 방법AI 컴퓨트의 공유와 실제 활용률주 대상 · 기술·제품 · AI 컴퓨트관련 대상 · 기술·제품 · DRAM관련 대상 · 산업·업종 · 클라우드

공급이 부족한 상황에서 로컬 실행과 유휴 GPU를 어떻게 봐야 하나요?

이 자료가 더한 내용

  • 공급이 매우 제한된 조건에서는 개인 컴퓨터에 DRAM을 분산해 시간의 5%만 쓰는 것보다 클라우드에서 사용률을 높이는 편이 세계 전체의 배분에 낫다는 주장이에요.
  • 창고와 사설 풀, 특정 고객 할당에 묶인 GPU를 세계의 공유 자원처럼 더 잘 조직하고 배치하는 것을 해법으로 제시해요.
근거 보기 4
  1. 원문 구간 1

    Why? There's no easy way to bring on a lot more fabs of memory. And those guys have been So, it's going to be a while until we have a while. Yeah. Yeah. The boys in Boise don't uh don't love huge capex for for cyclical. They they've been burnt on that many times. But conceivably, like because of that shortage, the world is just going to route around it by making everything else in the system more efficient. I think they're going to make everything else more expensive. Think that iPhones will cut their memory. iPhones are going to go up in price and um we're just going to have to deal with it. An example of this is people a lot of people want local inference and somehow they assume that like the problem is solved now because we going to have open source models.

  2. 원문 구간 2

    we're going to be able to run them on our computers and so we're not going to need all the stuff in the data center. But from like a global allocation perspective, actually it's quite terrible to have everybody like have a bunch of the world's limited supply of DRAM sitting in their own computer and being used 5% of the time. Like you want maximum utilization in a cloud if you're trying to like deal with this very supply constraint environment. And and somehow everyone's many people's intuition is the opposite of that. Fore. If you zoom out further, I think that we actually don't marshall our compute effectively at all. Like we have all this comput in the world. Nvidia is pumping out 5 million Blackwell chips this year. Where are they all going? Are they all being used at all all the time?

  3. 원문 구간 3

    I certainly doubt it. I think that at some level we just need better orchestration of compute across the world. This is very difficult to do because a lot of the compute disappears into private pools of compute that will never suit the light of day and those GPUs sit very sadly idle. Uh it's actually it pains me physically to see that those GPUs are just, you know, silicon and power went into that and it's just sitting idle and I want to fix that. how we or organize and orchestrate the world's compute as a shared resource and and pack it more efficiently. I would estimate that, you know, we all make fun of XAI for having, you know, some challenges with total flop utilization on its clusters, but um the reality for the rest of the world is it's far far worse.

  4. 원문 구간 4

    A ton of GPUs just sit in warehouses or sit in private pools allocated to a specific customer um just don't get utilized. You're attacking the efficiency of that very directly. That's way more effective. Yeah. Um Fore. Now, for other chips, I wouldn't even call them inferior. I like to say there's no bad chips. There's only bad pricing. And uh I will make any chip work at the right price. That's like kind of one of the ethoses of the company. And let's talk about AMD. Yeah, AMD. I think great chips overall. The challenge is that people don't um understand how to program them very well. So, you know, I've been talking to you about how we have such a great kernel team. We're so serious about squeezing the performance out of the hardware. Nvidia is pretty good at doing that for their own chips.

원문에서 제시한 근거

  • 올해 블랙웰 500만 개가 나온다는 발언 뒤에, 그 칩이 전부 항상 사용되는지 묻고 의심을 표시해요.
  • xAI의 연산 활용률 문제보다 다른 곳의 현실이 훨씬 나쁠 것이라는 추정으로, 특정 클러스터를 넘어선 자원 배치 문제를 지적해요.
근거 보기 2
  1. 원문 구간 1

    we're going to be able to run them on our computers and so we're not going to need all the stuff in the data center. But from like a global allocation perspective, actually it's quite terrible to have everybody like have a bunch of the world's limited supply of DRAM sitting in their own computer and being used 5% of the time. Like you want maximum utilization in a cloud if you're trying to like deal with this very supply constraint environment. And and somehow everyone's many people's intuition is the opposite of that. Fore. If you zoom out further, I think that we actually don't marshall our compute effectively at all. Like we have all this comput in the world. Nvidia is pumping out 5 million Blackwell chips this year. Where are they all going? Are they all being used at all all the time?

  2. 원문 구간 2

    I certainly doubt it. I think that at some level we just need better orchestration of compute across the world. This is very difficult to do because a lot of the compute disappears into private pools of compute that will never suit the light of day and those GPUs sit very sadly idle. Uh it's actually it pains me physically to see that those GPUs are just, you know, silicon and power went into that and it's just sitting idle and I want to fix that. how we or organize and orchestrate the world's compute as a shared resource and and pack it more efficiently. I would estimate that, you know, we all make fun of XAI for having, you know, some challenges with total flop utilization on its clusters, but um the reality for the rest of the world is it's far far worse.

판단 방법AMD 칩의 가격과 커널 최적화주 대상 · 기업·종목 · AMD관련 대상 · 기업·종목 · 엔비디아관련 대상 · 기술·제품 · AI 가속기

다른 칩에 남은 소프트웨어 최적화 여지가 경제적 기회가 될 수 있나요?

이 자료가 더한 내용

  • 나쁜 칩보다 잘못된 가격이 문제라는 원칙 아래, 가격이 맞으면 어떤 칩이든 활용하겠다는 접근이에요.
  • AMD는 좋은 칩이지만 프로그래밍 이해와 공급업체의 기본 커널 최적화 작업에 남은 여지가 커서, 전문 팀이 추가 성능을 얻을 기회가 있다는 판단이에요.
근거 보기 2
  1. 원문 구간 1

    A ton of GPUs just sit in warehouses or sit in private pools allocated to a specific customer um just don't get utilized. You're attacking the efficiency of that very directly. That's way more effective. Yeah. Um Fore. Now, for other chips, I wouldn't even call them inferior. I like to say there's no bad chips. There's only bad pricing. And uh I will make any chip work at the right price. That's like kind of one of the ethoses of the company. And let's talk about AMD. Yeah, AMD. I think great chips overall. The challenge is that people don't um understand how to program them very well. So, you know, I've been talking to you about how we have such a great kernel team. We're so serious about squeezing the performance out of the hardware. Nvidia is pretty good at doing that for their own chips.

  2. 원문 구간 2

    Frankly, there's some alpha that we can squeeze out, but actually there's a lot more to be done on other chips because the vendor does a little bit less work than Nvidia does to make the best kernels out of the box or or even better for me. there is alpha and just like other people have this perception that AMD is not as as good as Nvidia. That's music to my ears. I'm very happy for them to sleep on this chip and for me to buy as much as I can. One of the things I keep coming back to is this question of Nvidia. I am bullish on Nvidia in the short term and you know Nvidia you should never bet against them. They're always going to reinvent themselves. But like fundamentally I think one thing that surprises people is when I tell them that hey if you

원문에서 제시한 근거

엔비디아는 자사 칩 최적화를 잘하지만 다른 칩에는 더 많은 작업이 남아 있다고 비교해요. AMD를 덜 좋게 보는 인식은 발화자가 칩을 확보하는 데 반가운 조건이라고 표현해요.

근거 보기 2
  1. 원문 구간 1

    A ton of GPUs just sit in warehouses or sit in private pools allocated to a specific customer um just don't get utilized. You're attacking the efficiency of that very directly. That's way more effective. Yeah. Um Fore. Now, for other chips, I wouldn't even call them inferior. I like to say there's no bad chips. There's only bad pricing. And uh I will make any chip work at the right price. That's like kind of one of the ethoses of the company. And let's talk about AMD. Yeah, AMD. I think great chips overall. The challenge is that people don't um understand how to program them very well. So, you know, I've been talking to you about how we have such a great kernel team. We're so serious about squeezing the performance out of the hardware. Nvidia is pretty good at doing that for their own chips.

  2. 원문 구간 2

    Frankly, there's some alpha that we can squeeze out, but actually there's a lot more to be done on other chips because the vendor does a little bit less work than Nvidia does to make the best kernels out of the box or or even better for me. there is alpha and just like other people have this perception that AMD is not as as good as Nvidia. That's music to my ears. I'm very happy for them to sleep on this chip and for me to buy as much as I can. One of the things I keep coming back to is this question of Nvidia. I am bullish on Nvidia in the short term and you know Nvidia you should never bet against them. They're always going to reinvent themselves. But like fundamentally I think one thing that surprises people is when I tell them that hey if you

판단 방법분산된 칩·전력 공급을 모으는 경제성주 대상 · 기술·제품 · AI 컴퓨트관련 대상 · 산업·업종 · 데이터센터관련 대상 · 산업·업종 · 반도체 제조

다른 고객이 쓰기 어려운 칩과 전력을 모아 컴퓨트 비용을 낮추려면 무엇을 함께 최적화하나요?

이 자료가 더한 내용

  • 칩의 성능 편차를 줄이는 공정 관리에 드는 시간과 비용까지 고려하며, 칩 가격·공급량·전력 비용·입지를 함께 최적화하겠다는 방법이에요.
  • 다른 구매자에게는 치명적이라고 평가한 가동률 95%도 받아들이고, OpenAI·Anthropic과 입찰로 경쟁하기보다 그들이 활용하지 않는 칩과 전력을 모으겠다는 전략이에요.
  • 한곳에 집중된 공급 대신 분산된 공급을 합쳐 경제성을 높이겠다는 목표를, 거대 단일 제철소가 아닌 작은 제철소들의 비유로 설명해요.
근거 보기 4
  1. 원문 구간 1

    look at you know Hopper to Blackwell to Reuben and you compare like for like like what is the performance per watt of Bflat 16 multiply it hasn't improved all that much or or even you take that one step further and go to TSMC if you look at TSMC 5 nanometer versus four versus three versus two the performance per watt on these chips doesn't change like a dramatic amount. One of the most interesting examples here is that any fab has a lot of spread in their like worst chip that comes out of the production line and the best chip that comes out of the production line. There's a lot of variance in how chips are made. Uh and then the question is like you know if you have a company like TSMC, they work very very hard to tighten what we call these process corners.

  2. 원문 구간 2

    We want to keep the worst chip as close in characterization to the best chip and they get a great lens to make that possible. But that means that they are adding a lot of controls in the process that maybe I don't need. Maybe I'm actually willing to find a place for that worst chip. You don't need to tighten the process control as much which takes more time and cost. Uh maybe I'm willing to take a lot more rejects. And I think for us it's like a more holistic optimization around there's you know cost of the dies, supply of the dies and then the cost of power and places we can put them. And my whole goal is to actually so dramatically expand the supply of of power uh across the United States that I have a home for a lot of ships that otherwise would not have earned earned their place in a data center.

  3. 원문 구간 3

    It's just going to go down sometimes. In fact, I won't be surprised if some of them get down to like 95% uptime, which is bad. Very bad. That's fatal, atrocious for anyone else. Couldn't survive in a in a big a big gigs. You'd have basically zero buyers for a data center that has 95% uptime. Yeah. I'm that first buyer. I will buy 95% up time. So, I've heard you describe this entire system as like a scavenger strategy. Yeah, that's right. Is is that Yeah. Unpack that analogy a little bit. Well, first we scavenge chips and then we scavenge power for those chips. The idea is in both cases I do not want to be in bidding against Anthropic or OpenAI for compute capacity. I'm not going to win against them and I don't want to. I want to be more creative and use the supply that they don't find legible today and over time I amass enough aggregate supply.

  4. 원문 구간 4

    I'm never going to get concentrated supply. I will only get a aggregate supply and over time I build my aggregate factory that is unbeatable in economics. We are building a factory. We're trying to build the best steel factory in the world. Uh but it will come through mini mills not through large monolithic steel plants. How's the computer shortage going? [snorts] I mean there are all these ways where I think things at various times along the curve are going to get somewhat out of hand and there will be moment like with any new thing of this importance. There are going to be moments of irrational exuberance. There are going to be moments of bust. There going to be moments of constraint and glut and up and down, but I think the trend um is toward a we always just want more compute.

원문에서 제시한 근거

  • 성능이 가장 나쁜 칩에도 쓸 자리를 찾거나 더 많은 불량 판정 칩을 받아들일 수 있다면, 기존의 엄격한 공정 관리 요구와 다른 선택을 할 수 있다는 가정이에요.
  • 가동률 95% 수용과 경제성에서 이기는 전체 공장은 구매 의향·구축 전략이며, 실현된 운영 수치나 입증된 비용 우위로 제시되지는 않아요.
근거 보기 4
  1. 원문 구간 1

    look at you know Hopper to Blackwell to Reuben and you compare like for like like what is the performance per watt of Bflat 16 multiply it hasn't improved all that much or or even you take that one step further and go to TSMC if you look at TSMC 5 nanometer versus four versus three versus two the performance per watt on these chips doesn't change like a dramatic amount. One of the most interesting examples here is that any fab has a lot of spread in their like worst chip that comes out of the production line and the best chip that comes out of the production line. There's a lot of variance in how chips are made. Uh and then the question is like you know if you have a company like TSMC, they work very very hard to tighten what we call these process corners.

  2. 원문 구간 2

    We want to keep the worst chip as close in characterization to the best chip and they get a great lens to make that possible. But that means that they are adding a lot of controls in the process that maybe I don't need. Maybe I'm actually willing to find a place for that worst chip. You don't need to tighten the process control as much which takes more time and cost. Uh maybe I'm willing to take a lot more rejects. And I think for us it's like a more holistic optimization around there's you know cost of the dies, supply of the dies and then the cost of power and places we can put them. And my whole goal is to actually so dramatically expand the supply of of power uh across the United States that I have a home for a lot of ships that otherwise would not have earned earned their place in a data center.

  3. 원문 구간 3

    It's just going to go down sometimes. In fact, I won't be surprised if some of them get down to like 95% uptime, which is bad. Very bad. That's fatal, atrocious for anyone else. Couldn't survive in a in a big a big gigs. You'd have basically zero buyers for a data center that has 95% uptime. Yeah. I'm that first buyer. I will buy 95% up time. So, I've heard you describe this entire system as like a scavenger strategy. Yeah, that's right. Is is that Yeah. Unpack that analogy a little bit. Well, first we scavenge chips and then we scavenge power for those chips. The idea is in both cases I do not want to be in bidding against Anthropic or OpenAI for compute capacity. I'm not going to win against them and I don't want to. I want to be more creative and use the supply that they don't find legible today and over time I amass enough aggregate supply.

  4. 원문 구간 4

    I'm never going to get concentrated supply. I will only get a aggregate supply and over time I build my aggregate factory that is unbeatable in economics. We are building a factory. We're trying to build the best steel factory in the world. Uh but it will come through mini mills not through large monolithic steel plants. How's the computer shortage going? [snorts] I mean there are all these ways where I think things at various times along the curve are going to get somewhat out of hand and there will be moment like with any new thing of this importance. There are going to be moments of irrational exuberance. There are going to be moments of bust. There going to be moments of constraint and glut and up and down, but I think the trend um is toward a we always just want more compute.

해석·전망추론 소비와 미래 기대에 기댄 인프라 투자주 대상 · 기술·제품 · AI 추론관련 대상 · 기술·제품 · AI 컴퓨트

현재의 추론 수요를 과거 네트워크 투자나 학습 지출과 다르게 보는 이유는 무엇인가요?

이 자료가 더한 내용

  • 컴퓨트의 과열·불황·부족·과잉 가능성을 인정하면서도, 충분히 유능하고 충분히 저렴한 모델에 대한 수요는 늘어난다고 봐요.
  • 토큰은 당장 가치가 있어 구매하고 즉시 소비한다는 점에서, 미래 사용자를 예상한 과거 네트워크 투자와 구별해요.
  • 2023~2024년 호퍼 공급 부족은 학습 중심 지출이었으며, 현재의 추론 지출은 다른 성격이라고 봐요. 추론 지출이 계속 증가한다는 것은 발화자의 전망이에요.
근거 보기 3
  1. 원문 구간 1

    I'm never going to get concentrated supply. I will only get a aggregate supply and over time I build my aggregate factory that is unbeatable in economics. We are building a factory. We're trying to build the best steel factory in the world. Uh but it will come through mini mills not through large monolithic steel plants. How's the computer shortage going? [snorts] I mean there are all these ways where I think things at various times along the curve are going to get somewhat out of hand and there will be moment like with any new thing of this importance. There are going to be moments of irrational exuberance. There are going to be moments of bust. There going to be moments of constraint and glut and up and down, but I think the trend um is toward a we always just want more compute.

  2. 원문 구간 2

    Like the demand for sufficiently capable models at a sufficiently low price. I think that trend only goes one way. Fore! Fore!chch! Fore speech. Samsung. SKT. HB. Fore speech. And you know I remember the time where Cisco was the most valuable company in the world and in Intel was close behind. I mean I mostly draw parallels to that period of history from 25 years ago to today. And I think the main difference is that a lot of the investment in networking equipment historically was speculative. We anticipated this future demand for users that never came. And I think what's interesting about token consumption or AI consumption broadly is that it's no longer speculative.

  3. 원문 구간 3

    People buy tokens because they're immediately valuable to them. You don't hoard tokens. You use them immediately. This is also even different from what we had 2 years ago where there was a supply crunch for hopper generation chips in 2023 2024. Uh in that period it was all training oriented spend and training is inherently speculative. Now it's everyone is instituting caps on how much you can spend on cloud code. It's a very very different world to be talking about inference spent and predicting inference spend to go up. I do think inference spent monotonically increases. There's no speculation on inference. Fore speech. Foreign

원문에서 제시한 근거

  • 약 25년 전 시스코·인텔을 떠올리며, 당시 네트워크 투자에서 예상했던 사용자 수요가 오지 않았다는 차이를 짚어요.
  • 토큰을 비축하지 않고 즉시 쓴다는 설명과 사용 지출 한도를 두는 상황을 근거로, 현재 추론 소비의 직접적 가치를 강조해요.
근거 보기 2
  1. 원문 구간 1

    Like the demand for sufficiently capable models at a sufficiently low price. I think that trend only goes one way. Fore! Fore!chch! Fore speech. Samsung. SKT. HB. Fore speech. And you know I remember the time where Cisco was the most valuable company in the world and in Intel was close behind. I mean I mostly draw parallels to that period of history from 25 years ago to today. And I think the main difference is that a lot of the investment in networking equipment historically was speculative. We anticipated this future demand for users that never came. And I think what's interesting about token consumption or AI consumption broadly is that it's no longer speculative.

  2. 원문 구간 2

    People buy tokens because they're immediately valuable to them. You don't hoard tokens. You use them immediately. This is also even different from what we had 2 years ago where there was a supply crunch for hopper generation chips in 2023 2024. Uh in that period it was all training oriented spend and training is inherently speculative. Now it's everyone is instituting caps on how much you can spend on cloud code. It's a very very different world to be talking about inference spent and predicting inference spend to go up. I do think inference spent monotonically increases. There's no speculation on inference. Fore speech. Foreign

3

시간흐름대로 모든 내용을 살려 정리

시간흐름대로 모든 내용을 살려 정리

1
도입: 희소한 자원을 놀리지 않는다는 목표

세계 전체의 자원 배분이라는 관점에서 보면요, 한정된 DRAM을 각자의 컴퓨터에 잔뜩 넣어 두고 시간의 5%만 쓰는 건 사실 꽤 좋지 않아요.

My job is to make the tokens as cheap as humanly possible. 제 일은 토큰을 사람이 할 수 있는 한 가장 싸게 만드는 거예요. 반드시 그렇게 할 거고, 제가 쓸 수 있는 기술 스택의 모든 층을 통해 할 겁니다. 공급 측 수단을 좋아해요. 모든 칩을 쓰고, 모든 전력원을 쓰고, 미국에서 이 일에 적합한 땅이라면 모두 활용하겠다는 거죠.

모두 엄청난 부족이 있다는 건 인정해요. 그런데 한편으로는 '어떻게든 해결하겠지, 자본시장에서도 다시 평소 자리로 돌아가겠지' 하는 느낌이 있잖아요.

2
엔비디아가 가격 외에 생각하는 것

그런 이야기를 어떻게 생각하는지 궁금해요.

네, 몇 가지가 있어요. 첫째, 엔비디아는 기본적으로 자사 칩을 장기적으로 봐요. 엄청난 수요가 있으니 과거 다른 공급업체들처럼 가격을 확 올릴 수도 있겠죠. 수요와 공급 곡선이 어딘가에서 만나면, 형식적으로는 모두 만족할 수도 있어요.

그런데 돈이 가장 많은 고객이 칩을 전부 사게 두면, 그 고객이 훨씬 더 큰 힘을 갖게 되고 장기적으로 엔비디아에 불리해질 수도 있잖아요. 지금 컴퓨트는 권력이라는 걸 이해하고 있기 때문에, 누구에게 컴퓨트를 배분할지 상당히 전략적으로 생각한다는 게 첫 번째예요.

3
새 스타트업의 대규모 임대 주문

두 번째는 관계가 굉장히 중요하다는 거예요. 새 스타트업이 와서 '블랙웰 1만 개를 3년이나 5년 동안 빌리겠습니다'라고 한다고 해 보세요. 보통 운영한 지 몇 달밖에 안 된 회사인데, 그 돈을 제대로 낼 수 있을지 누가 알겠어요? 그런 대규모 임대 주문을 선뜻 받고 싶지는 않겠죠.

요즘 컴퓨트 접근권을 얻도록 상대를 설득하는 일은 꽤 어려워요. 아주 좋은 관계가 있거나, 믿기 어려울 만큼 강한 재무적 뒷받침이 있어야 해요. 희소성이 너무 높고 수요는 엄청나니까요.

제가 컴퓨트 쪽을 보면서 드는 생각은 이거예요. 높은 가격의 해결책은 높은 가격이라고 하잖아요. 좋아요, 첫 단계로 메모리와 GPU와 다른 모든 것의 높은 가격은 생겼어요. 그러면 해결책도 이제 곧 나와야 하는 것 아닌가요?

4
보이지 않는 손은 잘 작동하나요?

해결책 쪽은 얼마나 잘되고 있나요? 좋지 않아요. 이게 OpenAI가 해야 할 일이라는 뜻은 아니에요. 보이지 않는 손이 해야 할 일 같은데요? 메모리가 정말 비싸졌으니까 새 메모리 업체들이 이제 곧 시장으로 쏟아져 들어와야 하잖아요.

I think the invisible hand is failing right now. 지금은 보이지 않는 손이 실패하고 있는 것 같아요. 원래 그 손의 실적도 좋았다 나빴다 했지만, 여기서는 제대로 작동하지 않는 것 같다는 거예요.

왜 그럴까요? 과거의 영향이 남아서 그런 걸까요? 분야마다 사정이 다를 텐데, 메모리부터 보면 아주 오랫동안 DRAM 생산자는 설비투자에 200억 달러를 쓰고 190억 달러를 버는 식이었어요. 호황과 불황을 계속 겪었죠.

5
메모리 업체가 기억하는 증설의 대가

어떤 해에는 210억 달러를 벌고, 어떤 해에는 180억 달러를 벌었겠죠. 하지만 지금에 이르기 전까지 메모리를 만드는 일이 장기간에 걸쳐 훌륭한 사업이었던 적은 없었던 것 같아요.

그런데 갑자기 이 업체들이 각각 1년에 1,000억 달러 정도의 잉여현금흐름을 벌게 될 거라는 거예요. 믿기 어려운 일이죠. 그래도 업체들은 자기 역사를 기억한다고 생각해요. '이번에는 다르다'는 약속을 믿고 공장을 너무 많이 지었다가, 몇 번이나 거의 파산할 뻔했는지를요. 그러니 설비투자에는 보수적이 되는 거죠.

앞으로 HBM이 얼마나 부족해질지 그 영향을 과소평가하고 있다고 생각해요. 그래서 우리는 다른 방향을 아주 강하게 밀어붙이려는 거고, 곁들이자면 그쪽이 아마 가장 집중해서 풀어야 할 문제라고 생각해요.

6
메모리 부족을 효율화로 우회할 수 있을까요?

왜 그럴까요? 메모리 공장을 대거 더 늘릴 쉬운 방법이 없으니까요. 시간이 꽤 걸리겠네요. 네. 보이시의 사람들도 경기순환 사업에 큰 설비투자를 하는 걸 좋아하지 않아요. 그 일로 여러 번 데었으니까요.

그렇다면 부족 때문에 세계가 시스템의 나머지 부분을 더 효율적으로 만들어서 우회할 수는 있지 않을까요? 저는 다른 것들이 전부 더 비싸질 것 같아요. 아이폰은 메모리를 줄일 거고, 가격은 올라갈 거예요. 결국 그 상황을 감당해야겠죠.

한 가지 예가 로컬 추론이에요. 많은 사람이 그걸 원하고, 공개 모델이 있으니 이제 문제가 해결됐다고 생각하는 것 같아요.

7
개인 컴퓨터의 DRAM과 클라우드 사용률

컴퓨터에서 모델을 돌릴 수 있으니 데이터센터의 그런 것들은 필요 없을 거라는 생각이죠. 그런데 세계 전체의 배분이라는 관점에서는요, 한정된 DRAM을 각자의 컴퓨터에 잔뜩 넣어 두고 시간의 5%만 사용하는 건 사실 꽤 좋지 않아요.

공급이 이렇게 제한된 환경을 감당하려면 클라우드에서 최대 사용률을 얻고 싶을 거예요. 그런데 많은 사람의 직관은 이상하게도 그 반대인 것 같아요.

8
블랙웰 500만 개는 다 어디로 가나요?

더 넓게 보면 우리가 컴퓨트를 효과적으로 모아서 쓰고 있지도 않은 것 같아요. 세계에는 이미 컴퓨트가 이렇게 많잖아요. 엔비디아가 올해 블랙웰 칩 500만 개를 내놓고 있어요. 그게 다 어디로 가는 걸까요? 전부 항상 사용되고 있나요?

9
사설 풀 안에서 쉬는 GPU

저는 상당히 의심스러워요. 어느 수준에서는 세계 전체의 컴퓨트를 더 잘 조직하고 배치할 필요가 있다고 생각해요. 그런데 많은 컴퓨트가 바깥으로 나오지 않는 사설 풀 안으로 사라져서, 아주 슬프게 놀고 있는 GPU가 되니까 어려운 일이죠.

정말 몸이 아플 정도예요. 그 실리콘과 전력이 들어갔는데 그냥 쉬고 있잖아요. 그걸 고치고 싶어요. 세계의 컴퓨트를 공유 자원처럼 조직하고 운영하면서, 더 촘촘하게 활용하는 방법을 찾고 싶은 거예요.

xAI가 클러스터의 전체 연산 활용률 문제를 겪는다고 우리도 놀리곤 하잖아요. 그런데 제 추정으로는 나머지 세계의 현실은 훨씬, 훨씬 더 나빠요.

10
나쁜 칩보다 잘못된 가격

엄청나게 많은 GPU가 창고에 있거나 특정 고객에게 배정된 사설 풀 안에 있으면서 활용되지 않아요. 그 효율을 직접 개선하려는 거군요. 그게 훨씬 효과적이겠네요. 네.

다른 칩에 대해서는 열등하다고 부르고 싶지도 않아요. there's no bad chips. There's only bad pricing. 나쁜 칩이 있는 게 아니라 잘못된 가격이 있을 뿐이라는 말을 좋아해요. 가격만 맞으면 어떤 칩이든 쓸 수 있게 만들 겁니다. 그게 회사의 기본 태도 중 하나예요.

11
AMD에서 성능을 더 끌어낼 여지

그럼 AMD 이야기를 해 보죠. 네, AMD는 전반적으로 좋은 칩이라고 생각해요. 문제는 사람들이 어떻게 프로그래밍해야 하는지 잘 모른다는 거예요.

우리 커널 팀이 얼마나 좋은지 이야기해 왔잖아요. 하드웨어에서 성능을 끝까지 짜내는 데 정말 진지해요. 엔비디아는 자기 칩에 대해서는 그 일을 꽤 잘하고요.

12
남들이 관심을 덜 두는 칩이 반가운 이유

솔직히 엔비디아에서도 우리가 추가로 끌어낼 성능은 있어요. 하지만 다른 칩에서는 할 일이 훨씬 더 많아요. 공급업체가 기본으로 제공하는 커널을 최적으로 만드는 데 엔비디아만큼 일을 하지 않으니까요.

제 입장에서는 더 좋은 점도 있어요. 사람들이 AMD는 엔비디아만큼 좋지 않다고 생각하잖아요. That's music to my ears. 제게는 정말 반가운 소리예요. 다른 사람들이 이 칩을 덜 주목하는 동안 저는 최대한 많이 살 수 있으니 좋아요.

계속 돌아오게 되는 질문 중 하나가 엔비디아예요. 저는 엔비디아에 단기적으로 낙관적이고, 엔비디아에 반대로 베팅하면 안 된다고 생각해요. 언제나 자신을 재창조할 테니까요. 그런데 제가 어떤 말을 하면 사람들이 놀라더라고요.

13
같은 연산으로 보면 전력 효율은 얼마나 좋아졌나요?

호퍼에서 블랙웰, 그리고 전사에 'Reuben'으로 나오는 다음 세대로 넘어갈 때, 같은 조건끼리 비교해 보는 거예요. 'Bflat 16 multiply'라고 전사된 곱셈 연산의 전력당 성능이 얼마나 좋아졌느냐고요. 그렇게 많이 좋아지지는 않았다는 게 제 생각이에요.

한 단계 더 들어가서 TSMC의 5나노, 4나노, 3나노, 2나노를 봐도 칩의 전력당 성능이 극적으로 바뀌지는 않아요.

여기서 흥미로운 예가 있어요. 어떤 공장이든 생산라인에서 나온 가장 나쁜 칩과 가장 좋은 칩 사이에는 편차가 커요. 칩이 만들어지는 과정에는 변동이 많거든요. 그래서 TSMC 같은 회사는 우리가 '공정 코너'라고 부르는 그 편차의 범위를 줄이려고 굉장히 노력해요.

14
공정의 완벽함 대신 전체 비용을 맞추기

가장 나쁜 칩의 특성을 가장 좋은 칩에 최대한 가깝게 만들려는 거죠. 그걸 가능하게 하려고 정말 많은 노력을 해요. 그런데 그러려면 공정에 제게는 필요 없을 수도 있는 관리 절차가 많이 들어가요.

저는 그 가장 나쁜 칩에도 쓸 곳을 찾을 의향이 있을 수 있잖아요. 시간과 비용이 드는 공정 관리를 그렇게까지 엄격하게 하지 않아도 될 수 있죠. 더 많은 불량 판정 칩을 받아들일 의향도 있을 수 있고요.

우리에게는 칩 자체의 비용과 공급량, 전력 비용, 칩을 놓을 장소를 함께 보는 전체 최적화에 가까워요. 제 목표는 미국 전역의 전력 공급을 아주 크게 늘려서, 다른 조건에서는 데이터센터에 들어갈 자격을 얻지 못했을 많은 칩에도 자리를 마련하는 거예요.

15
가동률 95%의 첫 구매자

가끔은 멈추겠죠. 사실 일부는 가동률이 95% 정도로 내려가더라도 놀랍지 않을 것 같아요. 그건 나빠요. 아주 나쁘죠. 다른 고객에게는 치명적이고 끔찍한 수준이에요.

가동률 95%인 데이터센터라면 살 사람이 사실상 아무도 없겠네요. 네. I'm that first buyer. I will buy 95% up time. 제가 그 첫 구매자예요. 저는 가동률 95%도 사겠어요.

16
칩을 모으고 그 칩에 쓸 전력을 모으기

이 전체 시스템을 일종의 주워 모으는 전략이라고 표현한 걸 들었어요. 맞아요. 그 비유를 조금 풀어 주실래요?

먼저 칩을 찾아 모으고, 그다음에는 그 칩에 쓸 전력을 찾아 모아요. 두 경우 모두 Anthropic이나 OpenAI와 컴퓨트 용량을 놓고 입찰 경쟁을 하고 싶지 않다는 게 핵심이에요. 그들을 상대로 이기지도 못할 거고, 그렇게 하고 싶지도 않아요.

더 창의적으로 접근해서 그들이 오늘 활용할 수 있는 공급으로 알아보지 못하는 것을 쓰고 싶어요. 그렇게 시간이 흐르면 충분한 전체 공급량을 모으게 되는 거죠.

17
작은 제철소들을 모아 만드는 공장

저는 한곳에 집중된 공급을 얻지는 못할 거예요. 분산된 공급을 합친 총량만 얻을 수 있겠죠. 그리고 시간이 지나면서 경제성에서 이길 수 없는 전체 공장을 만드는 거예요.

우리는 공장을 짓고 있어요. 세계 최고의 제철소를 만들려는 거죠. 다만 거대한 단일 제철소가 아니라 작은 제철소들을 통해 그렇게 될 거예요.

18
컴퓨트에도 과열과 불황은 오겠죠

컴퓨트 부족은 어떻게 되고 있나요? 이 흐름을 따라가다 보면 여러 시점에서 어느 정도 통제를 벗어나는 일들이 있을 것 같아요. 이렇게 중요한 새로운 것이라면 늘 그렇듯, 비이성적인 과열의 순간도 있을 거예요.

무너지는 순간도 있고, 부족한 순간과 넘치는 순간도 있고, 오르내림도 있겠죠. 하지만 큰 추세는 우리가 늘 더 많은 컴퓨트를 원한다는 쪽이라고 생각해요.

19
시스코가 가장 비쌌던 때와 지금

충분히 유능한 모델을 충분히 낮은 가격에 쓸 수 있을 때의 수요 말이에요. 그 추세는 한 방향으로만 간다고 생각해요.

시스코가 세계에서 가장 가치 있는 회사였고 인텔도 바로 뒤에 있던 때를 기억해요. 저는 주로 약 25년 전 그 시기와 지금을 비교하곤 해요.

가장 큰 차이는 과거 네트워크 장비 투자의 상당 부분이 미래를 기대한 투자였다는 거예요. 앞으로 사용자가 늘어날 것으로 예상했지만, 그 수요는 오지 않았죠. 그런데 토큰 소비, 넓게는 AI 소비에서 흥미로운 점은 더는 그런 미래 기대에만 걸린 소비가 아니라는 거예요.

20
토큰은 사서 쌓아 두지 않아요

사람들이 토큰을 사는 건 당장 가치가 있기 때문이에요. You don't hoard tokens. You use them immediately. 토큰을 사서 쌓아 두지는 않잖아요. 바로 쓰죠.

이건 2년 전 상황과도 달라요. 2023~2024년에는 호퍼 세대 칩의 공급 부족이 있었어요. 그 시기의 지출은 전부 학습 쪽이었고, 학습은 본질적으로 미래의 성과를 기대하는 투자예요.

이제는 다들 사용 지출에 얼마나 쓸 수 있는지 한도를 두고 있는 상황이잖아요. 추론 지출을 이야기하고 그 지출이 늘어날 거라고 예상하는 건 전혀 다른 세계예요. 저는 추론 지출이 계속 증가한다고 생각해요. 추론에는 그런 미래 기대에 건 소비가 없다는 거죠.

4

그럼에도 빠진내용 정리

잡담·곁다리 내용
  • 잡담, 화면 설명, 불확실한 표현을 무작정 버리지 않는다.
생략 기록
  • 아직 작성 전. 실제 작성 후 압축·생략한 내용을 기록한다.

그럼에도 빠진내용 정리

C001
문서 식별용 날짜·제목·채널 표기는 발화 흐름에서 제외했습니다. 도입에 편집된 핵심 발언은 본문 순서대로 다시 등장하더라도 도입 위치에 보존했습니다.
C007, C009, C014, C015, C016
의미 없는 반복, 말더듬, 'Fore', 'Fore speech', 'Foreign' 같은 자동전사 잡음과 효과음 표시는 생략했습니다.
C015
C015의 'Samsung. SKT. HB.'는 주변 발화와 연결되는 뜻을 확인할 수 없어 흐름에 문장으로 복원하지 않았습니다.
C006, C013
C006의 'until we have a while'과 C013의 'big a big gigs'는 정확한 뜻을 특정하기 어려워 해당 파편을 제외하고, 증설에는 시간이 걸린다는 문맥과 가동률 95%에 대한 평가는 보존했습니다.
원문 확인

document_work_runner prepare가 입력 원문을 수정 없이 보존했다.

원문 다운로드새 창에서 보기