엔비디아 CEO 젠슨황 인터뷰 : 'TPU도 Trainium도, 그렇게 자신 있으면 공개적으로 붙어보자'

[원문 유형] 네이버 프리미엄 콘텐츠
[채널] 올바른 미국주식 by SAPIENS
[게시일] 2026.04.22. 오후 7:38
[원문 URL] https://contents.premium.naver.com/sapiens/sapiensasset/contents/260422193801049ms
[제목] 엔비디아 CEO 젠슨황 인터뷰 : 'TPU도 Trainium도, 그렇게 자신 있으면 공개적으로 붙어보자'
[수집 기준] 승인된 구독 열람권으로 실제 본문을 보존했다. 이미지·첨부는 별도 미디어 원장에 보관하며 시각적 의미 검토 여부를 구분한다.

[구독 원문 본문]
​

안녕하세요 올바른입니다.

​

엔비디아 CEO 젠슨황 인터뷰입니다. 최근 전해드렸던 앤스로픽 CEO 인터뷰 만큼이나 103분짜리 팟캐스트에서 다시금 생각을 정리할 내용들이 많았던 인터뷰였습니다.

​

특히 TPU, Trainium과의 비교에 있어서는 사실 엔비디아는 모든 벤치마크를 공개하지만 모든 칩이 참여할 수 있는 벤치마크 환경에서 다른 ASIC 중 어느 것도 참여 중이지 않음을 강조했습니다.

​

ASIC이 자신있다면 광장으로 나와 서로의 칩/시스템을 같은 기준으로 비교해보자는 자신감이었습니다. 공급망이 왜 해자가 되는지, 칩이 아닌 시스템이 중요한 이유들에 답했습니다.

​

큰 흐름 읽기 (Bird's-eye view)

2026-04-15

오픈AI의 두뇌, 일리야의 후계자 야쿠브 파초키 : Spud 출시 직전, 대전략을 바꾸다 (바로가기)

2026-03-27

앤스로픽 CEO 다리오 아모데이 인터뷰 : "Extremely fast, but not infinitely fast" (바로가기)

2026-03-05

AI 사이클 한 눈에 보기, SemiAnalysis 인터뷰 : "거품은 없다. ARR $100B가 온다" (바로가기)

2025-12-17

AI 버블론을 잠재우는 숫자들 : 엔터프라이즈 AI $37B 시장의 현주소 (바로가기)

2025-10-08

오픈AI 퇴사자의 글 #1 : 2027년 AGI가 온다 (바로가기)

엔비디아 (NVDA)

2026-03-17

엔비디아 GTC 2026 : 7개의 칩, 5개의 랙 시스템, 그리고 하나의 AI 슈퍼컴퓨터 (바로가기)

2026-02-26

엔비디아 4Q25 실적발표 : 담백한 실적발표, 핵심은 모두 그린라이트 (바로가기)

2026-01-02

엔비디아가 $20B를 주고 데려온 남자 : Groq 창업자 조나단 로스의 통찰 (바로가기)

광학 (Optics)

2026-04-17

'빛💡'의 시대 : 광학 밸류체인 한 눈에 보기 (바로가기)

2026-03-20

OFC 2026 : 광학이 중요해지고 있는 이유들, 태풍의 눈에 있는 두 가지 기업 분석 (바로가기)

2026-03-13

AI 인프라의 새로운 병목 '광학' : 앞으로의 2~3년 가파른 채택곡선 (트랜시버, OCS, CPO) (바로가기)

2026-03-06

비아비 솔루션스(VIAV) 기업분석 : 광학의 시대, 더 많은 테스트가 필요해 (바로가기)

메모리 (Memory)

2026-03-19

마이크론 1Q26 실적발표 : 흔들릴 이유가 없는 어닝서프라이즈, 구조적 성장주로 거듭나기 (바로가기)

2025-01-21

추론의 시대, 핵심이 된 메모리 : 메모리 쇼티지를 떠받치고 있는 힘 (바로가기)

2026-01-07

엔비디아 CES 2026 : Vera Rubin의 시대, ICMS가 불러올 메모리 지각변동 (바로가기)

네오클라우드 (Neocloud)

2026-02-22

네오클라우드 뜯어보기 #2 : 새로운 시대의 AI 계급도, 전력을 돈으로 바꾼 Powered Shell (바로가기)

2026-02-10

네오클라우드 뜯어보기 : GPU 임대의 경제학, 네오클라우드 BIG 4 비교분석 (바로가기)

투자자문 서비스에 따른 투자 시 원금 손실이 발생할 수 있으며, 투자 손익에 대한 책임은 전적으로 고객에게 귀속됩니다. 또한 과거의 투자수익이 미래의 수익률을 보장하지 않습니다.

​

신규 구독 전에, 아래 투자자문계약 권유문서의 계약 관련 제반 사항을 반드시 읽으시고 충분히 검토하시기 바랍니다.

​

*투자자문계약 권유문서 : https://naver.me/5ZST47Qf

목차

​

전자를 토큰으로 바꾸다 : 칩 하나가 아닌 토큰 생산 시스템 전체를 다루는 일이 중요하다

GPU vs TPU에 답하다 : '그렇게 자신 있으면 InferenceMAX, MLPerf에서 붙자'

엔비디아가 판을 장악하는 방식 : 신뢰를 팔다, 플레이어가 아닌 기반이 되려는 이유

AI가 아닌 가속컴퓨팅 기업 : 왜 여러 칩을 동시에 개발하지 않는가에 대한 답변

젠슨 황 Jensen Huang

2026년 4월 16일, 엔비디아 CEO & 공동창업자

전자를 토큰으로 바꾸다

칩 하나가 아닌 토큰 생산 시스템 전체를 다루는 일이 중요하다

드와르케시 파텔 Dwarkesh Patel : 소프트웨어 가치가 하락하는 것을 보면서 많은 사람이 AI가 소프트웨어를 커머디티화할 것이라고 예상하고 있습니다. 그런데 사실 그런 로직이라면 엔비디아도 마찬가지입니다.

​

아주 단순하게 구조를 설명하면 이렇습니다. 엔비디아는 GDS-II 파일을 TSMC에 보내고 → TSMC는 이를 바탕으로 로직 다이와 스위치 칩을 생산합니다 → 여기에 SKH/MU/SEC가 만든 HBM을 붙여 패키징한 뒤 → 최종적으로는 대만 ODM 업체들이 이를 랙 단위 시스템으로 조립합니다.

​

이 관점에서 보면 엔비디아는 모든 것을 직접 제조하는 회사라기보다, 다른 회사들이 만든 하드웨어를 하나의 완성된 컴퓨팅 시스템으로 엮어내는 소프트웨어와 시스템 설계 역량을 가진 회사에 더 가깝습니다.

그래서 자연스럽게 이런 질문이 생깁니다. 만약 소프트웨어 자체가 AI로 인해 점점 커머디티화된다면, 엔비디아 역시 결국 그 흐름에서 자유롭지 않은 게 아닌지 궁금합니다.

​

젠슨 황 Jensen Huang : 결국 누군가는 전자를 토큰으로 바꿔야 합니다. 그리고 시간이 지날수록 그 토큰을 더 가치 있게 만들어야 합니다. 저는 이 과정이 완전히 커머디티화되기는 어렵다고 봅니다.

​

전자가 토큰으로 변환되는 과정은 정말 놀라운 여정입니다. 토큰 하나를 만든다는 것은 마치 어떤 분자를 다른 분자보다 더 가치 있게 만드는 일과 비슷합니다. 또 특정 토큰을 다른 토큰보다 더 유용하고 더 가치 있게 만드는 일이기도 합니다. 그 안에는 엄청난 양의 예술적 감각, 엔지니어링, 과학, 그리고 발명이 들어갑니다. 지금 우리는 그 변화가 실시간으로 일어나는 모습을 보고 있습니다. 이 변환과 제조의 과정, 그리고 그 안에 담긴 과학은 아직 충분히 이해됐다고 보기 어렵습니다. 이 여정은 아직 끝과도 한참 거리가 있습니다.

​

그래서 저는 이 영역이 쉽게 커머디티화되지는 않을 것이라고 생각합니다. 물론 앞으로 훨씬 더 효율적이 되기는 할 것입니다. 사실 질문해주신 방식 자체가 저희 회사의 비즈니스 모델이기도 합니다. 입력은 전자이고, 출력은 토큰이며, 그 사이에 엔비디아가 있습니다. 저희의 역할은 이 변환이 경이로운 성능으로 일어날 수 있도록 필요한 부분에는 최대한 집중하고, 반대로 저희가 직접 하지 않아도 되는 일은 최대한 줄이는 것입니다.

여기서 줄인다는 뜻은 제가 직접 할 필요가 없는 일이라면 누구와도 협력해서 생태계의 일부로 만든다는 의미입니다.

​

지금의 엔비디아를 보시면 공급망의 업스트림과 다운스트림을 통틀어 아마 가장 큰 파트너 생태계를 가진 회사 중 하나일 것입니다. 여기에는 모든 컴퓨터 회사, 애플리케이션 개발자, 그리고 모델 제작자들이 포함됩니다. AI는 말하자면 5층짜리 케이크와 같습니다. 저희는 그 5개 층 전체에 걸쳐 생태계를 구축하고 있습니다. 가능한 한 적은 부분만 직접 하려고 하지만, 저희가 반드시 직접 해야 하는 부분은 엄청나게 어렵습니다. 그래서 저는 이 영역이 커머디티화될 것이라고 보지 않습니다.

​

사실 기업용 소프트웨어 회사나 각종 툴 회사들에 대해서도 저는 조금 다르게 봅니다. 오늘날 대부분의 소프트웨어 기업은 결국 도구를 만드는 회사입니다. 일부는 워크플로우를 체계화하는 시스템이기도 하지만, 엑셀, 파워포인트, 케이던스, 시놉시스 같은 많은 회사들은 본질적으로 도구를 만듭니다. 그런데 저는 사람들이 우려하는 것과는 정반대의 현상이 일어날 것이라고 봅니다. 앞으로 에이전트의 수는 기하급수적으로 늘어날 것이고, 그 도구를 사용하는 주체 역시 기하급수적으로 늘어날 것입니다.

​

​

그 결과 이런 도구들이 실행되는 서버의 수 역시 폭발적으로 증가할 가능성이 높습니다. 시놉시스의 디자인 컴파일러 인스턴스 수도 급증할 것이고, 플로어 플래너나 레이아웃 도구, 설계 규칙 검사기(DRC)를 사용하는 에이전트 수도 크게 늘어날 것입니다.

지금은 결국 엔지니어 수가 병목입니다. 하지만 미래에는 엔지니어 한 사람이 수많은 에이전트의 지원을 받게 될 것입니다. 그렇게 되면 과거에는 상상하기 어려웠던 방식으로 설계 공간을 탐색하게 될 것이고 그 과정에서 지금 우리가 쓰는 도구들을 그대로 활용하게 될 것입니다.

​

저는 도구 활용이 늘어날수록 소프트웨어 회사들의 가치도 크게 올라갈 것이라고 생각합니다. 아직 그런 변화가 본격적으로 나타나지 않은 이유는 현재의 에이전트가 도구를 다루는 능력이 아직 충분히 뛰어나지 않기 때문입니다. 앞으로는 이 소프트웨어 회사들이 직접 에이전트를 만들 수도 있고, 반대로 에이전트 자체가 그런 도구를 능숙하게 다룰 수 있을 정도로 발전할 수도 있습니다. 저는 이 두 가지 흐름이 동시에 일어날 것이라고 봅니다.

​

*코멘트 → 엔비디아는 HW 기업이라기보다 전력과 반도체와 메모리와 네트워크와 소프트웨어를 모두 동원해서 최종적으로 쓸모 있는 토큰을 만들어내는 회사라고 보면 좀 더 본질에 가깝습니다. 여기에 더해 두 가지 함의점들을 정리하면:

​

첫째, AI 시대의 경쟁 단위는 더 이상 부품 하나가 아니라는 점입니다. GPU 하나를 잘 만드는 것만으로는 충분하지 않고, 그것이 HBM과 어떻게 연결되는지, 서버 안에서 어떻게 배치되는지, 랙과 랙 사이에서 어떻게 통신하는지, 그리고 그 위에서 어떤 소프트웨어가 돌아가는지까지 모두 맞물려야 최종적인 성능이 나옵니다.

둘째, 그래서 엔비디아의 해자는 제조가 아니라 통합 능력에 있다는 점입니다. 자기가 직접 다 하지 않더라도, 어디를 직접 쥐고 어디를 파트너와 협력할지를 가장 잘 설계하는 회사입니다.

​

*코멘트 → 모델 아키텍처가 바뀌면 필요한 커널 최적화가 달라지고, 커널이 달라지면 컴파일러와 런타임 스케줄링이 바뀌고, 컨텍스트 길이가 늘어나면 KV cache와 메모리 병목이 중요해지며, 멀티노드 환경에서는 통신 토폴로지와 collective 라이브러리의 효율이 성능을 좌우합니다. 즉 AI 시스템은 칩, 메모리, 인터커넥트, 컴파일러, 라이브러리, 프레임워크, 분산 학습, 서빙 엔진이 모두 강하게 결합된 문제입니다. 이 강한 결합 때문에 개별 레이어 하나만 잘해서는 전체 최적점이 잘 나오지 않습니다. 이는 드와르케시 파텔이 질문한 것, “왜 쉽게 커머디티화되지 않는가”에 대한 기술적 설명이 됩니다. 우위는 단일 칩 스펙이 아니라 시스템 전체 최적화에서 나오고, 엔비디아의 성능이 곧 기준점이 되고 있을 정도로 혁신의 속도를 늦추지 않고 있기 떄문입니다.

​

드와르케시 파텔 : 최근 엔비디아의 공시를 보면 파운드리, 메모리, 패키징 분야에서 거의 $100B에 달하는 구매 약정을 체결했습니다. SemiAnalysis는 이런 종류의 구매 약정이 $250B에 이를 수 있다고 봤습니다.

​

이것을 한 가지 방식으로 해석하면, 엔비디아의 진짜 해자는 단순히 칩 설계 능력에 있는 것이 아니라 이런 희소한 핵심 부품과 생산 역량을 수년 치 선점해 두었다는 데 있다고 볼 수 있습니다.

다른 누군가가 경쟁력 있는 가속기 설계를 갖고 있을 수는 있습니다. 하지만 실제로 그것을 만들 메모리를 확보할 수 있을까요. 그것을 생산할 로직 캐파를 확보할 수 있을까요. 결국 문제는 설계 자체가 아니라, 설계를 실제 제품으로 바꿔줄 공급망을 누가 먼저 그리고 얼마나 깊게 장악하고 있느냐일 수 있습니다. 그런 점에서 보면, 이것이 앞으로 몇 년 동안 엔비디아의 가장 강력한 해자라고 볼 수 있는지 궁금합니다.

​

젠슨 황 Jensen Huang : 이것은 다른 기업들이 쉽게 하기 어려운 일이고, 엔비디아가 특히 잘할 수 있는 영역입니다. 엔비디아는 공급망의 업스트림을 다지는 데 오랜 시간 엄청난 노력을 기울여 왔습니다. 방금 말씀드린 것처럼 공시로 드러나는 명시적인 약정도 있고, 문서에 직접 보이지 않지만 실질적으로 작동하는 묵시적인 약속도 있습니다. 예를 들어 업스트림의 상당한 투자는 실제로 공급망 파트너들이 집행합니다.

​

제가 여러 기업의 CEO들을 직접 만나 이 산업이 얼마나 커질지, 왜 그렇게 될지, 그리고 앞으로 어떤 기회가 열릴지를 설명해 왔기 때문입니다. 저는 그들과 비전을 공유하고, 논리적으로 설득하고, 함께 그림을 그려 왔습니다. 그런 과정을 통해 업스트림 공급망에 있는 여러 산업의 CEO들이 정보를 얻고, 영감을 받고, 결국은 투자까지 결심하게 됩니다. 왜 그들이 다른 곳이 아니라 저를 믿고 투자하느냐고 묻는다면, 이유는 분명합니다.

​

엔비디아가 그들이 만들어낸 공급 물량을 실제로 흡수해서, 다운스트림의 거대한 수요처에 판매할 수 있는 역량을 갖고 있다는 것을 알기 때문입니다. 실제로 엔비디아의 다운스트림 공급망과 수요 기반은 매우 큽니다. 그렇기 때문에 그들도 안심하고 업스트림 투자에 나설 수 있습니다.

​

GTC를 보시면 사람들이 늘 그 규모와 참석자 수에 놀랍니다. 그곳에는 말 그대로 AI 산업 전체가 한자리에 모입니다. 업스트림도 있고 다운스트림도 있고 모든 방향의 플레이어들이 다 모입니다. 모두가 서로를 확인해야 하기 때문입니다. 저는 다운스트림 업스트림을 보고, 업스트림이 다운스트림을 보고, 모두가 AI의 진짜 진전을 직접 확인할 수 있도록 이들을 한곳에 모읍니다.

​

그리고 여기서 정말 중요한 점은 이들이 AI 네이티브 기업들과 새롭게 등장하는 스타트업들, 그리고 지금 실제로 벌어지고 있는 놀라운 변화들을 현장에서 직접 본다는 것입니다. 그 과정에서 제가 말해 온 모든 것들이 단순한 주장에 그치지 않고 현실이라는 사실을 스스로 확인하게 됩니다. 저는 이런 기회를 공급망 파트너들과 생태계에 알리고, 그들을 설득하는 데 직간접적으로 굉장히 많은 시간을 쓰고 있습니다.

​

어떤 분들은 제 기조연설이 늘 발표의 연속이라고 말합니다. 그런데 제 기조연설에는 항상 약간은 강의처럼 느껴질 정도로 빡빡한 설명이 들어갑니다. 때로는 듣기에 조금 버겁다고 느낄 수도 있습니다.

사실 저는 그것을 의도합니다. 업스트림과 다운스트림을 포함한 전체 공급망과 생태계가 무엇이 다가오고 있는지, 왜 그것이 오는지, 언제 오는지, 그리고 그 규모가 얼마나 클지를 분명히 이해해야 하기 때문입니다. 그들도 제가 보는 방식대로 구조적으로 판단할 수 있어야 합니다.

​

말씀하신 경제적 해자에 대해서는 엔비디아는 미래를 향해 그것을 실제로 구축해 나갈 수 있다고 생각합니다. 앞으로 몇 년간 시장 규모가 연간 $1T에 이르더라도 그것을 감당할 수 있는 공급망을 갖추고 있습니다. 엔비디아 같은 구심력이 없다면 비즈니스의 속도 자체가 나오기 어렵습니다. 현금 흐름이 있듯이 공급망에도 흐름과 순환이 있습니다. 비즈니스가 돌아가는 속도가 충분히 빠르지 않다면 누구도 특정 아키텍처를 위해 미리 공급망을 깔아두려 하지 않을 것입니다.

​

결국 우리가 이 정도 규모를 유지할 수 있는 이유는 다운스트림 수요가 워낙 거대하고, 파트너들이 그것을 직접 보고 듣고 확인하고 있기 때문입니다. 모든 것이 실제로 다가오고 있다는 점을 그들 역시 알고 있습니다. 그렇기 때문에 엔비디아는 지금 같은 규모에서, 지금 같은 방식으로, 다른 기업들이 하기 어려운 일들을 해낼 수 있는 것입니다.

​

드와르케시 파텔 : 업스트림이 앞으로도 수요를 따라잡을 수 있을지 조금 더 구체적으로 이해하고 싶습니다. 지난 몇 년 동안 엔비디아의 매출은 매년 두 배씩 성장해 왔고, 전 세계에 공급한 FLOPS 규모도 해마다 세 배 이상 늘어났습니다.

이 정도 규모에서 이런 성장률이 나온다는 것은 정말 놀라운 일입니다. 맞습니다.

​

그런데 논리적으로 생각해 보면 궁금한 점이 생깁니다. 엔비디아는 이미 TSMC의 N3 공정에서 가장 큰 고객이고, N2에서도 가장 큰 고객 중 하나입니다. AI 전체가 올해 N3 물량의 60%를 차지하고, SemiAnalysis 전망대로라면 내년에는 그 비중이 86%까지 올라갈 수 있다고 합니다. 이미 이렇게 큰 비중을 차지하고 있는데, 여기서 공급을 또 두 배로 늘리는 것이 과연 가능한가 하는 질문이 나옵니다. 그리고 그런 일을 매년 반복하는 것은 더더욱 어려워 보입니다.

​

결국 이제는 AI 컴퓨트의 성장률이 업스트림 공급망의 한계 때문에 둔화될 수밖에 없는 구간에 들어선 것인지 궁금합니다. 아니면 이 제약을 넘어설 방법이 아직 남아 있다고 보시나요? 결국 해마다 두 배씩 더 많은 생산 능력이 필요하다는 뜻인데, 그렇게 많은 팹과 공급망을 매년 어떻게 확장할 수 있다고 보시는지 궁금합니다.

​

젠슨 황 Jensen Huang : 어느 시점을 보더라도, 당장의 수요는 업스트림과 다운스트림을 모두 포함한 전 세계 공급을 늘 초과하고 있습니다. 어떤 때는 배관공 인력이 부족해서 병목이 생기기도 하고, 실제로 그런 일도 벌어집니다. 하지만 저는 그것이 오히려 좋은 신호라고 봅니다. 당장의 수요가 산업 전체의 공급보다 큰 산업은 좋은 산업입니다.

반대로 공급이 수요를 앞서는 산업은 당연히 좋은 상황이 아닙니다.

​

격차가 너무 크거나 특정 부품 하나가 지나치게 뒤처지면, 업계 전체가 그 병목을 해결하는 쪽으로 한꺼번에 움직입니다. 예를 들어 요즘은 CoWoS 이야기를 예전만큼 많이 하지 않는다는 점을 느끼셨을 겁니다. 이유는 간단합니다. 지난 2년 동안 업계가 여기에 총력을 쏟아부었기 때문입니다. 몇 차례에 걸쳐 두 배, 두 배, 또 두 배씩 계속 늘려 왔습니다. 지금은 상당히 괜찮은 상태에 와 있다고 생각합니다. TSMC 역시 CoWoS 공급이 나머지 로직 수요와 메모리 수요의 증가 속도를 따라가야 한다는 점을 분명히 인식하고 있습니다. 그래서 로직을 늘리는 것과 같은 수준으로 CoWoS와 차세대 패키징 기술도 함께 확장하고 있습니다. 이것은 정말 훌륭한 일입니다. 오랫동안 CoWoS와 HBM 메모리는 일종의 특수 기술처럼 여겨졌지만, 이제는 더 이상 그런 영역이 아닙니다.

​

이제 사람들은 이것이 주류 컴퓨팅 기술이라는 점을 받아들이고 있습니다. 물론 그렇게 되면서 공급망의 훨씬 더 넓은 영역까지 영향을 주게 됐습니다. AI 혁명이 막 시작되던 초기에 저는 지금과 같은 이야기를 5년 전에도 똑같이 했습니다. 그 말을 믿고 먼저 투자한 곳들이 있었습니다. 예를 들어 산제이와 마이크론 팀이 그랬습니다. 그 미팅은 지금도 아주 선명하게 기억납니다. 앞으로 무슨 일이 벌어질지, 왜 그렇게 될지, 그리고 우리가 당시 무엇을 보고 있었는지를 아주 분명하게 설명했습니다.

​

그들은 정말 과감하게 베팅했습니다. LPDDR과 HBM 메모리 전반에 걸쳐 파트너십을 맺었고, 실제로 진지하게 투자했습니다. 그 결과는 그 회사에 엄청난 성과로 돌아갔습니다. 물론 조금 늦게 합류한 회사들도 있었지만, 이제는 모두가 함께 움직이고 있습니다. 이런 병목 하나하나가 지금은 큰 주목을 받습니다. 그리고 이제는 병목이 발생한 뒤에 대응하는 것이 아니라, 수년 앞서 미리 예측하고 대비​하고 있습니다.

​

예를 들어 지난 몇 년 동안 루멘텀, 코히런트, 그리고 실리콘 포토닉스 생태계에 이뤄진 투자는 공급망 자체를 실질적으로 다시 짜는 수준이었습니다. 우리는 TSMC를 중심으로 전체 공급망을 구축했습니다. COUPE 관련 파트너십을 맺고, 여러 기술을 새로 발명했으며, 그 특허를 공급망에 라이선스해 개방성을 유지했습니다. 새로운 기술과 새로운 워크플로우를 만들고, 새로운 테스트 장비를 개발하고, 양면 프로빙 같은 방식을 도입했습니다. 동시에 관련 기업들에 투자하고, 생산 역량 확대를 지원하면서 공급망이 미리 준비될 수 있도록 해 왔습니다. 결국 우리는 생태계를 적극적으로 만들어 가고 있고, 공급망이 필요한 규모를 감당할 수 있도록 사전에 준비시키고 있는 것입니다. 다만 어떤 병목은 다른 병목보다 해결하기가 더 쉽습니다.

​

그리고 CoWoS 확장과 비교했을 때, 제가 가장 어렵다고 생각하는 문제도 분명히 있습니다.

무엇이냐고요. 배관공입니다. 배관공과 전기공입니다. 사실 저는 이 지점에서, 세상이 곧 일의 종말을 맞고 일자리가 사라질 것이라고 말하는 사람들을 보며 우려를 느낍니다. 사람들이 소프트웨어 엔지니어가 되는 것을 꺼리게 만들면, 결국 소프트웨어 엔지니어가 부족해질 것입니다. 똑같은 일이 10년 전에도 있었습니다. 어떤 사람들은 방사선과 의사가 곧 사라질 직업이라며 절대 그 길로 가지 말라고 했습니다. 아마 지금도 인터넷 어딘가에는 방사선과가 가장 먼저 사라질 직업이고, 세상은 더 이상 방사선과 의사를 필요로 하지 않을 것이라고 말하는 영상이 남아 있을 겁니다. 그런데 실제 결과는 어땠습니까. 지금은 방사선과 의사가 부족합니다.

​

*코멘트 → 젠슨 황이 강조하는 건 엔비디아가 병목이 생길 때 그냥 공급 부족을 지켜보는 회사가 아니라, 아예 공급망을 미리 설계하고 준비시키는 회사라는 설명입니다. TSMC를 중심으로 파트너십을 만들고, 새로운 기술과 워크플로우를 만들고, 테스트 장비와 양산 방식까지 함께 준비하며, 필요한 경우 관련 기업에 투자해 생산 역량 확대까지 돕는다는 것입니다.

​

*코멘트 → 조금 더 들어가보면, CoWoS는 단순한 패키징 문제가 아니라 HBM과 대형 로직 다이를 현실적으로 묶어내는 핵심 구조입니다. 다시 말해 모델 규모가 커지고 메모리 병목이 심해질수록, 계산 자체보다 계산과 메모리를 어떻게 한 패키지 안에서 연결하느냐가 점점 더 중요해집니다.

연구자 입장에서는 이것이 곧 아키텍처 설계와 시스템 설계의 경계가 흐려진다는 의미입니다. 모델이 요구하는 메모리 용량, 메모리 대역폭, KV cache 관리, 파이프라인 병렬화 방식은 결국 패키징과 인터커넥트가 허용하는 범위 안에서 최적화되어야 하기 때문입니다.

​

*코멘트 → 광통신과 실리콘 포토닉스 생태계에 대한 언급 역시 같은 맥락입니다. 대규모 학습과 추론 클러스터에서 중요한 것은 단일 GPU 성능만이 아니라, 노드 간/랙 간 통신이 얼마나 빠르고 안정적으로 이루어지느냐입니다. 특히 MoE 모델, 대규모 분산 학습, 긴 컨텍스트 처리, 에이전트 워크로드가 늘어날수록 all-to-all 통신과 대용량 데이터 이동이 더 중요해집니다. 이때 광연결, 테스트 장비, 양면 프로빙 같은 제조/검증 기술은 단순한 공급망 이슈가 아니라, 실제로 어떤 시스템 토폴로지가 가능한지를 결정하는 요소가 됩니다. 연구자 입장에서는 네트워크 지연과 대역폭이 모델의 학습 가능성과 추론 효율을 직접 제약하기 때문에, 이런 생태계 투자는 결국 미래 모델이 어디까지 확장될 수 있느냐에 대한 선행 투자로 읽혀야 합니다.

​

*코멘트 → 새로운 모델을 설계하고, 그 모델을 훈련할 하드웨어를 확보하고, 그 하드웨어를 수용할 전력과 냉각 설비를 갖추고, 그 위에 돌아갈 소프트웨어 스택을 안정화하는 데는 매우 긴 시간이 걸립니다. 따라서 최고 수준의 AI 연구는 더 이상 오늘 좋은 아이디어가 나오면 내일 바로 실험하는 식으로만 돌아가지 않습니다.

연구 로드맵과 공급망 로드맵이 서로 얽혀 있는 장기전에 가까워지고 있습니다. 이런 의미에서 엔비디아의 경쟁력은 좋은 GPU를 만든다보다 "몇 년 뒤 필요한 연구.서비스 조건을 미리 공급망에 반영한다"에 더 가깝습니다.

​

드와르케시 파텔 : 그렇다면 다시, 무엇은 확장 가능하고 무엇은 그렇지 않은가라는 질문으로 돌아가 보겠습니다. 실제로 어떻게 매년 로직 생산량을 두 배씩 늘릴 수 있을까요. 결국 메모리와 로직 모두 핵심 병목 중 하나는 EUV 장비입니다. 그렇다면 해마다 두 배씩 더 많은 EUV 노광 장비를 어떻게 확보할 수 있는지, 그리고 정말 그런 방식의 확장이 가능한지 궁금합니다.

​

​

젠슨 황 Jensen Huang : 그 어떤 것도 빠르게 확장하는 것이 불가능한 영역은 아닙니다. 충분한 수요 신호만 있다면, 2~3년 안에 해낼 수 있는 일들입니다. 하나를 만들 수 있다면 열 개도 만들 수 있고, 열 개를 만들 수 있다면 결국 백만 개도 만들 수 있습니다. 이런 것들은 본질적으로 복제할 수 없는 종류의 문제가 아닙니다.

​

드와르케시 파텔 : 공급망에 대해 어느 정도 깊이까지 직접 관여하시는지도 궁금합니다. 예를 들어 ASML을 직접 찾아가서, 3년 뒤를 내다보면 엔비디아가 연간 $2T 규모의 매출을 올리기 위해 훨씬 더 많은 EUV 장비가 필요하다고 설명하시는 건가요?

​

젠슨 황 Jensen Huang : 일부는 제가 직접 가서 설득해야 하고, 일부는 간접적으로 풀 수 있습니다.

또 어떤 경우에는 TSMC를 설득하면 ASML까지 자연스럽게 설득되는 구조이기도 합니다. 결국 중요한 것은 핵심 병목이 어디에 있는지를 정확히 보는 것입니다. TSMC가 확신만 가지면 몇 년 안에 EUV 장비는 충분히 확보될 수 있습니다. 핵심은 어떤 병목도 2~3년 이상 지속되지는 않는다는 점입니다. 어느 것도 영구적인 병목은 아닙니다.

​

그 사이에도 컴퓨팅 효율은 계속 좋아지고 있습니다. 어떤 경우에는 10배, 20배씩 향상되고, Hopper에서 Blackwell로 넘어가는 과정에서는 30배에서 50배 수준까지 개선되기도 합니다. CUDA는 워낙 유연한 플랫폼이기 때문에 새로운 알고리즘도 계속 등장합니다. 그래서 단순히 생산 용량만 늘리는 것이 아니라, 같은 자원으로 더 많은 성능을 뽑아내기 위한 다양한 기법들도 함께 발전하고 있습니다. 그런 부분은 전혀 걱정하지 않습니다.

​

오히려 제가 걱정하는 것은 다운스트림 쪽입니다. 특히 에너지 공급을 가로막는 에너지 정책들입니다. 에너지가 없으면 산업을 만들 수 없습니다. 에너지가 없으면 완전히 새로운 제조업도 만들 수 없습니다. 저는 미국을 다시 산업화하고 싶습니다. 반도체 제조를 되살리고 싶고, 컴퓨터 제조와 패키징도 다시 키우고 싶습니다. EV와 로봇 같은 새로운 산업도 만들고 싶고, AI 팩토리도 짓고 싶습니다. 그런데 에너지가 없으면 이 가운데 어느 하나도 할 수 없습니다.

더 큰 문제는 이런 것들이 매우 오랜 시간이 걸린다는 점입니다.

​

반면 반도체 생산 능력을 늘리는 것은 2~3년짜리 문제입니다. CoWoS 생산 능력을 늘리는 것도 2~3년짜리 문제입니다. 하지만 에너지는 그렇지 않습니다. 그래서 제가 진짜로 우려하는 병목은 업스트림 생산 능력 그 자체보다, 결국 다운스트림의 전력과 에너지 인프라 쪽입니다.

GPU vs TPU에 답하다

'그렇게 자신 있으면 InferenceMAX, MLPerf에서 붙자'

드와르케시 파텔 : 경쟁사 이야기도 여쭙고 싶습니다. TPU를 보면, 현재 세계 상위 3개 모델 가운데 Claude와 Gemini, 즉 2개가 TPU 기반으로 훈련됐다고 볼 수 있습니다. 이런 흐름이 앞으로 엔비디아에 어떤 의미를 갖는다고 보시는지 궁금합니다.

​

젠슨 황 Jensen Huang : 엔비디아가 만드는 것은 TPU와는 전혀 다른 종류의 것입니다. 엔비디아가 만들어 온 것은 텐서 처리 장치 하나가 아니라, 가속 컴퓨팅이라는 훨씬 더 넓은 개념입니다. 가속 컴퓨팅은 분자 동역학, 양자색역학, 데이터 처리, 데이터프레임, 정형 데이터와 비정형 데이터 처리 등 매우 다양한 영역에 쓰입니다. 유체역학과 입자물리학에도 쓰이고, 물론 AI에도 활용됩니다. 오늘날 AI가 가장 많이 주목받고 있고, 분명히 매우 중요하며 영향력도 큽니다. 하지만 가속 컴퓨팅이라는 개념은 그보다 훨씬 더 넓습니다.

​

엔비디아는 범용 컴퓨팅에서 가속 컴퓨팅으로 넘어가는 전환을 이끌며, 컴퓨팅 방식 자체를 다시 발명했습니다. 그래서 시장 도달 범위 자체가 TPU나 특정 ASIC이 가질 수 있는 수준과는 다릅니다. 지금의 엔비디아는 사실상 거의 모든 종류의 애플리케이션을 가속할 수 있는 유일한 회사입니다. 여기에 더해 거대한 생태계를 갖추고 있기 때문에, 온갖 프레임워크와 알고리즘이 엔비디아 위에서 돌아갑니다.

​

또 엔비디아의 시스템은 다른 사람들이 직접 운영할 수 있도록 설계되어 있습니다. 즉 운영자라면 누구든 엔비디아 시스템을 구매해서 돌릴 수 있습니다. 반면 자체 개발한 시스템은 대개 다른 누군가가 유연하게 운영하도록 설계된 것이 아니라, 결국 스스로 운영해야 하는 경우가 많습니다. 엔비디아 시스템은 누구나 운영할 수 있기 때문에 GCP, AWS, Azure, OCI를 포함한 모든 클라우드에 들어가 있습니다. 임대 목적으로 시스템을 운영하려면 여러 산업에 걸친 거대한 고객 생태계가 있어야 합니다. 반대로 자체 운영이 목적이라면, xAI에서 일론과 함께 했던 것처럼 직접 운영할 수 있도록 지원할 수도 있습니다.

​

엔비디아는 어느 회사, 어느 산업에서든 운영자를 지원할 수 있습니다. 예를 들어 일라이 릴리 같은 기업이 과학 연구와 신약 개발을 위한 슈퍼컴퓨터를 구축하려고 할 때도 엔비디아가 들어갈 수 있습니다.

자체 슈퍼컴퓨터를 운영하게 하고, 그것을 신약 개발과 생명과학 전반의 다양한 워크로드에 활용할 수 있도록 도울 수 있습니다. 이런 종류의 수많은 애플리케이션은 TPU만으로는 대응하기 어렵습니다.

​

엔비디아는 CUDA를 통해 훌륭한 텐서 처리 환경을 제공할 뿐 아니라, 데이터 처리, 컴퓨팅, AI를 포함한 전체 데이터 라이프사이클까지 아우릅니다. 그래서 시장 기회는 훨씬 더 크고, 도달 범위도 훨씬 더 넓습니다. 이제 엔비디아는 사실상 세상의 거의 모든 애플리케이션을 지원하고 있기 때문에, 어디에서든 엔비디아 시스템을 구축하면 그 시스템을 필요로 하는 고객이 존재합니다. 저는 이것이 TPU와는 근본적으로 다른 지점이라고 봅니다.

​

드와르케시 파텔 : 질문이 조금 길 수 있습니다. 지금 엔비디아가 엄청난 매출을 올리고 있는 것은, 제약이나 양자 컴퓨팅으로 분기 매출 $60B를 만들어내고 있기 때문은 아닙니다. 결국 전례 없는 기술인 AI가 전례 없는 속도로 성장하고 있기 때문에 가능한 일입니다. ​​

​

그러다 보니 자연스럽게 이런 질문이 나옵니다. 그렇다면 AI에 가장 잘 맞는 아키텍처는 무엇인가 하는 점입니다. 제가 모든 세부사항을 다 아는 것은 아닙니다. 다만 AI 연구를 하는 친구들과 이야기해 보면 이런 설명을 자주 듣습니다. TPU는 행렬 곱셈을 수행하기에 최적화된 거대한 시스톨릭 어레이이고, 반면 GPU는 훨씬 더 유연한 구조라는 것입니다.

즉 GPU는 분기가 많거나 메모리 접근이 불규칙한 작업에서 강점을 발휘합니다.

​

그런데 AI를 본질적으로 보면 무엇입니까. 결국 예측 가능한 행렬 곱셈을 계속 반복하는 작업에 가깝습니다. 그렇다면 이런 관점도 가능해 보입니다. 워프 스케줄러나 스레드와 메모리 뱅크 사이의 전환을 처리하기 위한 로직에 다이 면적을 써야 할 필요가 없고, 오히려 TPU처럼 그 면적을 행렬 연산에 더 집중하는 구조가 더 적합한 것 아니냐는 생각입니다. 특히 지금 실제로 폭발적으로 들어오는 컴퓨팅 수요와 매출 성장의 대부분이 바로 이런 종류의 워크로드에서 나오고 있다는 점을 감안하면, TPU가 오히려 이 핵심 용도에 더 직접적으로 최적화되어 있다고 볼 수도 있습니다. 이 점에 대해 어떻게 생각하시는지 궁금합니다.

​

​

젠슨 황 Jensen Huang : 행렬 곱셈(matmul)은 AI에서 매우 중요한 부분입니다. 하지만 그것이 전부는 아닙니다. 새로운 어텐션 메커니즘을 만들고 싶거나, 모델을 전혀 다른 방식으로 분해하고 싶거나, Hybrid-SSM 같은 새로운 아키텍처를 발명하고 싶다면 결국 범용으로 프로그래밍할 수 있는 아키텍처가 필요합니다. 디퓨전과 자기회귀 방식을 결합한 새로운 모델을 만들고 싶어도 마찬가지입니다. 그런 시도를 가능하게 해주는 것은 결국 범용 프로그래밍이 가능한 시스템입니다. 장점은 아주 분명합니다.

상상할 수 있는 거의 모든 것을 실행할 수 있다는 점입니다.

​

시스템이 프로그래밍 가능하기 때문에 새로운 알고리즘을 훨씬 더 쉽게 발명할 수 있습니다. 그리고 바로 그 점이 AI가 이렇게 빠르게 발전하는 진짜 이유라고 생각합니다. TPU 역시 다른 모든 시스템과 마찬가지로 무어의 법칙의 영향을 받습니다. 그런데 무어의 법칙이 주는 개선폭은 연간 20~30% 수준입니다. 10배, 100배 같은 도약은 거기서 나오지 않습니다. 그런 도약은 알고리즘과 연산 방식을 해마다 근본적으로 바꿀 때만 가능합니다. 저는 그것이 엔비디아의 가장 본질적인 강점이라고 봅니다.

​

Blackwell이 Hopper 대비 50배 수준의 성능 향상을 낼 수 있었던 이유도 바로 여기에 있습니다. 처음에 제가 Blackwell이 Hopper보다 에너지 효율이 35배 높을 것이라고 말했을 때는 아무도 믿지 않았습니다. 그런데 나중에는 Dylan이 실제로는 50배 수준이라고 하면서, 제가 오히려 너무 보수적으로 말했다는 기사까지 썼습니다. 이런 결과는 무어의 법칙만으로는 설명할 수 없습니다. 단순히 공정이 조금 좋아지고 트랜지스터가 조금 더 들어간다고 해서 나올 수 있는 숫자가 아닙니다.

​

이 문제를 푸는 방식은 결국 새로운 모델과 새로운 시스템 구조를 함께 만들어내는 것입니다. 예를 들어 MoE처럼 연산을 병렬화하고, 분리하고, 컴퓨팅 시스템 전체에 걸쳐 분산시키는 방식이 그렇습니다.

이런 변화를 실제로 구현하려면 CUDA 위에서 직접 새로운 커널을 만들 수 있는 능력이 매우 중요합니다.

​

엔비디아 아키텍처의 프로그래밍 가능성과 엔비디아가 극도로 긴밀한 공동설계를 하는 회사라는 점이 결합되면서 이런 혁신이 가능해집니다. 일부 연산은 NVLink 같은 패브릭 자체로 넘길 수도 있고, Spectrum-X를 통해 네트워크 쪽으로 오프로드할 수도 있습니다. 즉 프로세서, 시스템, 패브릭, 라이브러리, 알고리즘 전반에서 동시에 변화를 만들어낼 수 있다는 뜻입니다. 솔직히 말해 CUDA 없이 이걸 하라고 하면, 저는 어디서부터 시작해야 할지조차 모르겠습니다.

​

*코멘트 → 젠슨황은 AI의 본질이 단순한 행렬곱 반복이 아니라고 봤습니다. 메모리 패턴과 시퀀스 길이에 따라 병목이 달라지고, Mixture-of-Experts는 expert routing과 all-to-all communication이 중요하며, 긴 컨텍스트 추론에서는 FLOPs보다 KV cache 읽기/쓰기와 메모리 대역폭, 지연시간이 더 중요해지기도 합니다. 행렬곱을 '포함한' 전체 실행 그래프를 얼마나 잘 운영하느냐의 문제에 가깝습니다.

​

*코멘트 → 연구 현장에서는 실제로 새로운 모델 구조가 등장할 때마다 필요한 커널, 메모리 레이아웃, 병렬화 방식, 통신 패턴이 달라집니다. 그리고 그 변화 속도는 반도체 공정 로드맵보다 훨씬 빠릅니다.

젠슨 황이 무어의 법칙은 연 20~30% 개선일 뿐이고, 10배~100배 개선은 알고리즘과 시스템 구조를 함께 바꿀 때 나온다고 말하는 것은 바로 이 지점을 겨냥한 것입니다. 새 아이디어가 나왔을 때 그것을 커널 수준, 라이브러리 수준, 시스템 수준에서 얼마나 빨리 구현하고 대규모로 돌릴 수 있느냐가 중요하다는 논지입니다.

​

*코멘트 → 다시 한 번 기본 대전제를 요약하자면, 드와르케시는 'AI가 충분히 정형화되었다면 TPU가 더 효율적이지 않느냐'고 묻고 있는 것이고, 젠슨 황은 'AI는 아직 정형화된 산업이 아니며, 오히려 계속 바뀌기 때문에 프로그래밍 가능한 범용 분산 시스템이 더 중요하다'고 답하고 있는 것입니다.

​

드와르케시 파텔 : 이 지점은 엔비디아의 고객층을 생각하면 꽤 흥미로운 질문으로 이어집니다. 현재 매출의 60%가 5대 하이퍼스케일러에서 나오고 있습니다. 예전의 다른 고객층, 예를 들어 연구용 실험을 돌리던 교수나 일반 연구자라면 사실 CUDA가 거의 필수였습니다. 다른 가속기를 쓸 현실적인 선택지가 많지 않았고, CUDA 위에서 PyTorch를 돌리며 전체 스택을 최적화하면 됐기 때문입니다.

​

하지만 지금의 하이퍼스케일러들은 상황이 다릅니다. 이들은 직접 커널을 작성할 수 있는 역량을 갖추고 있습니다. 실제로 특정 아키텍처에서 마지막 5%의 성능까지 끌어내려면 결국 그렇게 해야만 합니다.

앤스로픽과 구글은 이미 대부분의 워크로드를 자체 가속기나 TPU, Trainium 같은 대안 위에서 돌리고 있습니다. 심지어 GPU를 쓰는 오픈AI조차 CUDA C++ 수준의 최적화가 필요한 만큼, 자체 커널을 다루기 위해 Triton을 갖추고 있습니다. cuBLAS나 NCCL에 전적으로 의존하는 것이 아니라, 다른 가속기로도 컴파일할 수 있는 자체 소프트웨어 스택을 함께 구축하고 있다는 뜻입니다.

​

그렇다면 질문은 이것입니다. 핵심 고객들 대부분이 CUDA의 대체재를 만들 수 있고, 실제로도 만들고 있다면, CUDA는 앞으로도 프론티어 AI를 엔비디아 위에서 구현하도록 만드는 결정적인 요인으로 얼마나 강하게 남을 수 있을까요?

​

​

젠슨 황 Jensen Huang : CUDA는 단순한 소프트웨어가 아니라, 매우 풍부한 생태계입니다. 어떤 컴퓨터 아키텍처 위에서든 개발을 시작하려 한다면, 우선 CUDA 위에서 먼저 개발해보는 것이 아주 합리적인 선택입니다. 그만큼 생태계가 잘 갖춰져 있기 때문입니다. 거의 모든 주요 프레임워크를 지원하고 있고 커스텀 커널을 만들고 싶을 때도 선택지가 많습니다.

​

예를 들어 엔비디아는 Triton에도 매우 적극적으로 기여하고 있습니다. Triton의 백엔드에는 엔비디아 기술이 깊이 들어가 있습니다. 저희는 각종 프레임워크가 최대한 잘 작동할 수 있도록 기꺼이 돕고 있습니다.

Triton, vLLM, SGLang 같은 프레임워크들이 있고, 최근에는 Verl이나 NeMo RL 같은 새로운 강화학습 프레임워크들도 빠르게 등장하고 있습니다. 특히 사후학습과 강화학습 분야 전체가 지금 폭발적으로 성장하고 있습니다. 이런 환경에서 새로운 아키텍처 위에 무언가를 개발하려 한다면, CUDA 위에서 시작하는 것이 가장 자연스러운 선택입니다. 생태계가 워낙 탄탄하다는 것을 알기 때문입니다.

​

그리고 문제가 생겼을 때도 중요합니다. 밑바닥에 깔린 거대한 시스템 코드 전체를 의심하기보다, 내 코드에 문제가 있을 가능성이 높다고 판단할 수 있어야 합니다. 이런 시스템을 개발할 때는 다루는 코드 양 자체가 엄청납니다. 그래서 무언가가 제대로 작동하지 않을 때, 그게 내 코드 문제인지 컴퓨터 문제인지 구분할 수 있어야 합니다. 누구나 내 코드 문제이기를 바라지, 컴퓨터 자체가 불안정하기를 바라지는 않습니다.

​

물론 엔비디아도 버그가 전혀 없는 것은 아닙니다. 하지만 시스템 전체가 워낙 철저하게 검증되어 있기 때문에, 개발자는 적어도 그 위에서는 신뢰를 갖고 작업할 수 있습니다. 이것이 첫 번째입니다. 생태계의 풍부함, 프로그래밍 가능성, 그리고 실제 개발 역량입니다. 두 번째는 설치 기반입니다. 무엇이든 개발하는 개발자라면 결국 가장 중요하게 보는 것이 설치 기반입니다. 내가 만든 소프트웨어가 가능한 한 다양한 컴퓨터에서 실행되기를 원하기 때문입니다.

소프트웨어를 나 혼자만 쓰려고 만드는 것이 아닙니다. 내 플릿 전체에서 돌리고 싶고, 다른 사람들의 플릿에서도 돌아가기를 바랍니다. 특히 프레임워크를 만드는 사람이라면 더더욱 그렇습니다.

​

결국 CUDA 생태계의 가장 큰 자산은 바로 그 설치 기반입니다. 지금 세상에는 이미 수억 개의 GPU가 깔려 있습니다. 그리고 그것들이 모든 클라우드에 들어가 있습니다. A10, A100, H100, H200은 물론이고, L 시리즈와 P 시리즈까지 매우 폭넓게 퍼져 있습니다. 종류도 다양하고, 크기와 형태도 제각각입니다. 예를 들어 로보틱스 회사라면 자신이 쓰는 CUDA 스택이 데이터센터 안에서만이 아니라 실제 로봇 안에서도 그대로 실행되기를 원할 것입니다. CUDA는 말 그대로 어디에나 있습니다. 설치 기반이 넓다는 것은 한번 소프트웨어나 모델을 개발해두면 그것이 거의 어디서든 의미 있게 쓰일 수 있다는 뜻입니다. 이 가치는 정말 큽니다.

​

마지막으로 엔비디아를 진짜 독보적으로 만드는 것은 모든 클라우드에 들어가 있다는 점입니다. AI 회사나 개발자 입장에서는 어느 클라우드 사업자와 파트너를 맺게 될지 그리고 최종적으로 어디에서 워크로드를 돌리게 될지 미리 확신하기 어렵습니다. 그런데 엔비디아 위에서 개발해두면 원한다면 온프레미스를 포함해 사실상 어디서든 실행할 수 있습니다. 저는 생태계의 풍부함, 설치 기반의 압도적인 규모, 그리고 어디서든 활용할 수 있는 범용성이 결합되어 CUDA를 대체하기 어려운 존재로 만든다고 봅니다.

​

*코멘트 → 젠슨 황은 CUDA의 해자를 예전처럼 '다른 칩에서는 못 돌아간다'로 설명하지 않습니다. 오히려 '새로운 것을 가장 먼저 만들고, 가장 빨리 디버깅하고, 가장 넓게 배포할 수 있는 곳이 어디냐'의 프레임으로 설명합니다. 예전의 해자가 "CUDA가 아니면 못 한다"였다면, 지금의 해자는 "CUDA에서 가장 빨리 된다"에 더 가깝습니다. 이 차이는 큽니다. 전자는 폐쇄적 독점이고, 후자는 혁신의 출발점에 가깝습니다. 프론티어 AI 연구속도가 매우 빠를수록, 그리고 강화학습 및 추론 최적화처럼 워크로드가 자주 바뀔수록 이 출발점의 우위는 강한 해자가 됩니다. 반대로 워크로드가 안정화되고 연산 패턴이 굳어질수록, 그리고 소수의 하이퍼스케일러가 자체 스택을 더 깊게 내재화할수록 이 해자는 조금씩 얇아질 수 있습니다. 엔비디아의 경쟁역량을 다룰 때 개인적으로 늘 혁신의 속도/X Factor를 강조드리는 이유입니다.

​

*코멘트 → 가장 빨리 된다를 좀 더 풀어서 보자면, 프론티어 AI Labs와 대규모 서비스 환경에서 무엇이 기본적인 레퍼런스 역할을 하느냐입니다. 새로운 모델 구조, 새로운 attention, 새로운 강화학습 기법, 새로운 serving 최적화를 만들 때 연구자와 엔지니어가 먼저 어디서 가장 빨리 돌아가는 첫 버전을 만들 수 있는지를 봅니다. 그다음에야 성능과 비용을 보고 다른 가속기나 다른 컴파일 경로로 옮깁니다.

젠슨 황은 CUDA가 바로 이 첫 번째 기준점이라고 주장하고 있는 것입니다.

​

*코멘트 → 대규모 학습이나 추론 시스템에서는 버그 하나가 모델 문제인지, 커널 문제인지, 런타임 문제인지, 드라이버 문제인지, 통신 스택 문제인지 구분하는 데 엄청난 시간이 듭니다. 이때 기반 스택이 충분히 검증되어 있다면 실패의 원인을 훨씬 좁게 볼 수 있습니다. 프론티어 AI 연구에서 중요한 것은 최고 성능만이 아니라 실험~실패~수정 사이클의 짧은 반복이기 때문입니다.

​

드와르케시 파텔 : 말씀하신 장점들은 충분히 이해가 됩니다. 제가 궁금한 것은, 그런 장점들이 실제로 주요 고객들에게 얼마나 결정적으로 중요한가 하는 점입니다. 물론 그것이 중요한 사람들은 많습니다. 다만 현재 매출의 대부분은 자체 소프트웨어 스택을 구축할 수 있는 고객들로부터 나오고 있습니다.

​

특히 앞으로 AI가 검증 루프가 촘촘한 영역, 다시 말해 강화학습을 적용할 수 있는 영역에서 더 강해지는 방향으로 간다면, 이 질문은 더 중요해집니다. 예를 들어 스케일업 시스템 전반에서 어텐션이나 MLP를 가장 효율적으로 처리하는 커널을 어떻게 짜느냐는 문제는 검증 가능한 피드백 루프가 매우 분명한 영역이기 때문입니다.

​

그렇다면 모든 하이퍼스케일러가 결국 이런 커스텀 커널을 직접 작성할 수 있게 되는 것일까요? 물론 엔비디아는 여전히 가격 대비 성능이 뛰어나기 때문에, 그들 역시 계속 엔비디아를 선호할 수 있습니다.

하지만 그렇게 본다면 결국 문제는 주어진 비용 대비 누가 가장 좋은 스펙을 제공하느냐, 누가 가장 높은 FLOPS와 메모리 대역폭을 제공하느냐로 귀결되는 것 아닐까요?

​

반대로 역사적으로 엔비디아는 CUDA라는 해자 덕분에 하드웨어와 소프트웨어를 아우르는 AI 전체 스택에서 70%가 넘는 매우 높은 마진을 유지해 왔고, 지금도 그렇습니다. 그렇다면 이제 주요 고객들 대부분이 CUDA 해자에 의존하기보다 직접 구축할 역량을 갖추게 되었을 때, 엔비디아가 그 마진을 계속 유지할 수 있을까요?

​

​

젠슨 황 Jensen Huang : 엔비디아가 이들 AI Labs에 투입한 엔지니어 수는 정말 막대합니다. 저희는 그들과 함께 스택을 최적화하는 일을 하고 있습니다. 이유는 단순합니다. 저희 아키텍처를 저희 자신보다 더 잘 아는 사람은 없기 때문입니다. 이 아키텍처들은 CPU처럼 범용적으로 다루기 쉬운 구조가 아닙니다. CPU가 캐딜락 같은 존재라면 누구나 편하게 몰 수 있는 안락한 크루저에 가깝습니다. 아주 빠르지는 않더라도 누구나 쉽게 다룰 수 있고 크루즈 컨트롤도 있으며 전반적으로 운전이 쉽습니다.

​

반면 엔비디아의 GPU와 가속기는 여러 면에서 F1 레이서에 가깝습니다. 누구나 시속 100마일 정도로 달릴 수는 있겠지만 그 성능을 한계까지 밀어붙이려면 상당한 전문성이 필요합니다.

저희는 커널을 만드는 과정에서도 이미 AI를 대규모로 활용하고 있습니다. 그래서 앞으로도 상당 기간 동안은 저희의 역할이 분명히 필요할 것이라고 생각합니다. 실제로 저희의 전문성은 AI Labs 파트너들이 본인들의 스택에서 비교적 손쉽게 2배 수준의 성능을 더 끌어낼 수 있도록 도와줍니다.

​

스택 전체를 최적화하거나 특정 커널을 손봤을 때 모델 속도가 3배, 2배, 혹은 50% 빨라지는 일은 전혀 드문 일이 아닙니다. 이건 엄청난 차이입니다. 특히 곳곳에 이미 깔려 있는 Hopper와 Blackwell 플릿 규모를 생각하면 더더욱 그렇습니다. 성능이 두 배가 되면 사실상 매출도 두 배가 됩니다. 이것은 바로 매출로 연결됩니다.

​

엔비디아의 컴퓨팅 스택은 TCO 대비 성능 면에서 세계 최고 수준이라고 확신합니다. 단언하건대, 지금 이 순간 전 세계 어느 플랫폼도 더 나은 TCO 대비 성능을 보여주지 못합니다. 단 한 곳도 없습니다. 실제로 공개된 벤치마크들을 보시면 됩니다. Dylan의 InferenceMAX도 모두가 사용할 수 있게 공개돼 있습니다. 그런데 TPU 진영도, Trainium 진영도 직접적으로 비교하려 시도하지 않습니다. 정말 그렇게 뛰어난 추론 비용 구조를 갖고 있다면 InferenceMAX로 직접 증명해 보이면 됩니다.

​

하지만 그건 생각보다 쉽지 않은 일입니다.

그래서 아무도 쉽게 앞으로 나오지 못하는 것입니다. MLPerf도 마찬가지입니다. Trainium이 늘 말하는 40% 우위가 있다면 직접 증명해 주면 됩니다. TPU의 비용 우위도 실제로 시연해 보여주면 됩니다. 그런데 제 입장에서는 그 논리가 전혀 성립하지 않습니다. 제1원리로 따져봐도 맞지 않습니다. 결국 엔비디아가 이렇게 성공한 이유는 근본적으로 TCO 대비 성능이 가장 뛰어나기 때문입니다.

​

*코멘트 → Dylan Patel이 이번 팟캐스트 내 젠슨황 코멘트를 듣고, SemiAnalysis의 InferenceMAX 다음 버전에서는 TPU와 Trainium도 비교대상으로 추가하겠다고 말했는데 개인적으로도 굉장히 흥미로운 포인트인지라 다음 InferenceMAX 업데이트를 기다리고 있습니다.

​

두 번째로, 고객의 60%가 상위 5개사라는 말은 맞습니다. 하지만 그 비즈니스의 상당 부분은 사실 그들 내부 사용이 아니라 외부 고객을 위한 것입니다. 예를 들어 AWS에서 엔비디아 인프라의 대부분은 AWS 자체 내부 용도가 아니라 외부 고객을 위한 것입니다. Azure도 마찬가지이고, OCI 역시 마찬가지입니다. 이들이 저희를 선호하는 이유는 저희의 도달 범위가 압도적으로 넓기 때문입니다. 세계 최고 수준의 고객들을 모두 끌어올 수 있습니다. 그리고 그 고객들 대부분이 이미 엔비디아 위에서 구축돼 있습니다.

이 회사들이 엔비디아를 기반으로 움직이는 이유는 저희의 도달 범위와 다재다능함이 워낙 강하기 때문입니다.

​

저는 이 플라이휠이 네 가지로 돌아간다고 봅니다. ⓐ설치 기반, ⓑ아키텍처의 프로그래밍 가능성, ⓒ생태계의 풍부함, ⓓ그리고 지금 세상에 AI 회사가 너무 많다는 사실입니다. 이제는 수만 개에 이릅니다. 만약 여러분이 그 수많은 AI 스타트업 중 하나라면 어떤 아키텍처를 선택하겠습니까. 가장 널리 공급되는 아키텍처를 고를 것입니다. 그건 저희입니다. 가장 큰 설치 기반을 가진 아키텍처를 고를 것입니다. 그것도 저희입니다. 가장 풍부한 생태계를 가진 아키텍처를 고를 것입니다. 그것 역시 저희입니다. 그게 바로 플라이휠입니다.

​

첫째, 달러당 성능이 뛰어나 가장 낮은 비용으로 토큰을 만들 수 있습니다. 둘째, 와트당 성능이 세계 최고입니다. 이 두 가지가 결합되어 지금의 경쟁력이 나옵니다. 파트너사 중 한 곳이 1GW 규모의 데이터센터를 짓는다고 해보겠습니다. 그렇다면 그 데이터센터는 동일한 전력 안에서 가능한 한 많은 매출과 가능한 한 많은 토큰을 만들어내야 합니다. 이것은 매출 문제입니다. 엔비디아는 와트당 토큰 생산량 기준으로 세계 최고 수준의 아키텍처입니다. 마지막으로, 인프라를 임대하는 것이 목표라면 결국 가장 많은 고객을 확보할 수 있어야 합니다. 그 점에서도 저희가 가장 강합니다.

저는 바로 그 조합 때문에 이 플라이휠이 작동한다고 생각합니다.

​

드와르케시 파텔 : 흥미로운 지점입니다. 결국 여기서 핵심 질문은, 실제 시장 구조가 어떤 형태로 굳어질 것이냐는 점입니다. 이론적으로는 다른 모습의 세상도 가능했을 것입니다. 예를 들어 수만 개의 AI 회사들이 컴퓨팅 자원을 대체로 비슷한 수준으로 나눠 쓰는 구조도 상상할 수 있습니다. 하지만 지금 실제로 벌어지고 있는 일은 조금 달라 보입니다.

​

표면적으로는 5대 하이퍼스케일러를 통해 컴퓨팅이 공급되고 있지만, 그 자원을 실질적으로 가장 강하게 사용하는 쪽은 앤스로픽, 오픈AI, 그리고 스스로 다른 가속기를 운영할 자본과 역량을 갖춘 대형 파운데이션 모델 연구소들입니다. 결국 시장의 중심은 아주 넓게 분산된 수요라기보다는 소수의 거대 플레이어에게 더 강하게 집중되는 방향으로 가고 있는 것처럼 보입니다.

​

젠슨 황 Jensen Huang : 아닙니다. 전제가 틀렸다고 생각합니다. 전제가 너무 중요한 것들인지라 이건 바로잡아야 할 것 같네요. 전제를 바로잡고나서 다시 얘기를 이어가봅니다.

​

드와르케시 파텔 : 가격, 성능, 와트당 성능에 대한 말씀들이 모두 사실이라면, 예를 들어 앤스로픽이 불과 며칠 전 브로드컴, 구글과 함께 TPU 관련 멀티기가와트 규모의 계약을 체결했고, 앞으로 컴퓨팅의 상당 부분을 그쪽에서 조달하겠다고 밝힌 것은 어떻게 이해해야 할까요.

​

구글은 말할 것도 없이 컴퓨팅의 대부분을 TPU에 의존하고 있습니다. 다른 대형 AI 회사들을 봐도, 컴퓨팅의 상당 부분이 예전처럼 전부 엔비디아에 머물러 있지는 않은 것 같습니다. 한때는 거의 모두가 엔비디아였지만, 이제는 반드시 그렇지는 않아 보입니다. 그렇다면 방금 말씀하신 내용들이 이론적으로 모두 맞다고 하더라도, 이들이 왜 다른 가속기로 이동하고 있는지, 그 흐름을 어떻게 해석해야 하는지 궁금합니다.

​

젠슨 황 Jensen Huang : 앤스로픽은 어떤 일반적인 트렌드를 보여주는 사례라기보다 상당히 특수한 경우에 가깝습니다. 극단적으로 말하면 앤스로픽이 없다면 TPU 성장이라는 이야기가 지금처럼 나올 수 있었을까요. 저는 사실상 100% 앤스로픽 때문이라고 봅니다.

​

Trainium도 마찬가지입니다. 앤스로픽이 없다면 Trainium 성장이라는 서사가 지금처럼 성립할 수 있었을까요. 그것 역시 사실상 100% 앤스로픽의 영향이라고 생각합니다. 이건 업계에서도 꽤 널리 알려져 있고, 어느 정도 공감대가 형성된 사실이라고 봅니다. 즉 지금 ASIC 기회가 시장 전반에 걸쳐 무한히 열려 있는 것은 아닙니다. 결국 앤스로은 하나뿐인 매우 예외적인 사례라는 뜻입니다.

​

드와르케시 파텔 : 하지만 오픈AI는 AMD 칩을 받기로도 했고, 자체 가속기를 개발하고 있지 않나요?

​

젠슨 황 Jensen Huang : 전체적으로 보면 엔비디아가 압도적인 위치에 있다는 점에는 모두가 동의할 수 있을 것이라고 생각합니다. 그리고 앞으로도 저희는 다양한 파트너들과 함께 많은 일을 계속해 나갈 것입니다. 다른 회사들이 다른 것을 시도하고, 다른 아키텍처를 써보는 것 자체를 불편하게 생각하지도 않습니다. 오히려 그런 시도가 있어야 저희 기술이 얼마나 뛰어난지 더 분명하게 드러난다고 생각합니다. 때로는 그 사실을 다시 확인시켜줄 필요도 있습니다. 저희가 지금 차지하고 있는 위치는 결국 시장에서 계속 스스로 증명해 나가야 하는 자리이기 때문입니다. 늘 새로운 주장과 새로운 도전이 나옵니다.

​

실제로는 취소된 ASIC 프로젝트 수만 봐도 많은 것을 알 수 있습니다. ASIC을 만들겠다고 나서는 것 자체는 어렵지 않습니다. 하지만 결국에는 엔비디아보다 더 나은 무언가를 만들어야 합니다. 문제는 그것이 결코 쉬운 일이 아니라는 점입니다. 엔비디아보다 더 좋은 것을 만든다는 것은 말처럼 간단하지 않습니다. 그것이 가능하려면 저희가 뭔가를 아주 크게 놓치고 있어야 합니다.

​

하지만 엔비디아는 규모와 속도 면에서 이미 독보적인 위치에 있습니다. 지금 이 일을 해마다, 그것도 매년 큰 도약을 이뤄내면서 꾸준히 해내는 회사는 전 세계에서 사실상 엔비디아뿐이라고 생각합니다.

​

드와르케시 파텔 : 그들의 논리는 엔비디아보다 더 나을 필요는 없고, GPM 70% 정도보다는 낮으면 된다는 논리인 것 같습니다.

​

젠슨 황 Jensen Huang : 아니요, 한 가지 잊지 말아야 할 점이 있습니다. ASIC도 마진이 꽤 높습니다. 엔비디아의 마진이 70%라면, ASIC의 마진도 65% 수준은 된다는 뜻입니다. 그렇다면 결국 남는 질문은 이것입니다. 실제로 절감되는 비용이 얼마나 되느냐는 것입니다. 결국 누군가에게는 돈을 지불해야 합니다. 제 관점에서 보면 ASIC의 마진도 상당히 높습니다. 그들 역시 그렇게 생각하고 있을 것입니다. 실제로 자신들의 ASIC 마진이 매우 좋다는 점을 꽤 자랑스럽게 이야기합니다.

​

왜 지금까지 Trainium과 TPU를 택하는 일이 벌어졌느냐고 묻는다면, 저는 그 배경을 이렇게 봅니다. 오래전에는 저희가 그것을 해낼 수 있는 위치에 있지 않았습니다. 당시 저희는 오픈AI나 앤스로픽 같은 파운데이션 AI Labs를 세운다는 것이 얼마나 어려운 일인지, 그리고 그런 조직들이 공급자 측으로부터 얼마나 막대한 투자를 필요로 하는지를 충분히 깊게 이해하지 못했었습니다.

​

그 당시 엔비디아는 앤스로픽이 저희 컴퓨팅을 사용하도록 만들기 위해 수십억 달러를 투자할 수 있는 위치에 있지 않았습니다. 반면 구글과 아마존은 그럴 수 있었습니다.

그들은 초기에 막대한 자본을 투입했고, 그 대가로 앤스로픽은 그들의 컴퓨팅을 사용하게 됐습니다. 당시 저희는 그런 선택을 할 수 있는 위치가 아니었습니다.

​

저는 그 현실을 충분히 깊게 내면화하지 못했던 것이 제 실수였다고 생각합니다. 앤스로픽 같은 AI Labs에 $5B, $10B를 투자해 줄 VC는 사실상 없었습니다. 그들에게는 실질적인 대안이 거의 없었던 것입니다. 제가 놓친 부분은 바로 그것입니다. 다만 그 사실을 더 일찍 이해했더라도, 당시의 엔비디아가 실제로 그렇게 할 수 있었을지는 별개의 문제였을 것입니다. 그때는 현실적으로 어려웠을 가능성이 큽니다. 하지만 같은 실수를 다시 반복하지는 않을 것입니다.

​

오픈AI에 투자하게 된 것을 기쁘게 생각합니다. 그들의 성장을 도울 수 있게 된 것도 기쁘고, 그것이 필수적이라고 생각합니다. 그리고 저희가 실제로 그렇게 할 수 있는 위치에 오게 되었을 때, 앤스로픽이 찾아왔을 때도 투자자가 되어 그들의 성장을 도울 수 있게 된 것을 기쁘게 생각합니다. 당시에는 그저 할 수 없었을 뿐입니다. 만약 시간을 되돌릴 수 있었고, 그때의 엔비디아가 지금과 같은 규모의 회사였다면, 저는 기꺼이 그렇게 했을 것입니다.

​

*코멘트 → 이 내용은 예전 <엔비디아 펀더멘탈 체크 : 구글 TPU의 추격? 시장점유율에 대한 생각>에서 전해드리기도 했었던 내용이고, 네오클라우드 2편 자료에서 AI Labs들을 유치하기 위해 CSP들이 컴퓨팅 크레딧을 주다가 이젠 AI Labs들로 힘의 균형이 더 옮겨가면서 2H25부터는 CSP들도 크레딧이 아닌 현금을 주기 시작했다는 것도 <네오클라우드 뜯어보기 #2 : 새로운 시대의 AI 계급도>에서 전해드린 바 있습니다.

엔비디아가 판을 장악하는 방식

신뢰를 팔다, 플레이어가 아닌 기반이 되려는 이유

드와르케시 파텔 : 수년 동안 엔비디아는 AI에서 돈을 버는 회사였습니다. 그것도 엄청난 규모로 벌어왔습니다. 그런데 이제는 그 돈을 다시 투자하고 있습니다. 보도에 따르면 오픈AI에는 최대 $30B, 앤스로픽에는 $10B를 투자한 것으로 알려져 있습니다. 다만 이제는 이들 회사의 가치평가가 이미 크게 올라와 있고, 앞으로도 더 높아질 가능성이 큽니다.

​

그래서 이런 궁금증이 생깁니다. 엔비디아는 수년 동안 이들에게 컴퓨팅을 공급해 오면서, 이 흐름이 어디로 향하는지 누구보다 가까이에서 보고 있었을 것입니다. 그런데 불과 몇 년 전만 해도, 어떤 경우에는 1년 전만 해도 이들 기업의 가치는 지금의 10분의 1에도 미치지 않았고, 엔비디아는 이미 막대한 현금을 보유하고 있었습니다.

​

그렇다면 다른 시나리오도 가능했던 것 아닐까요. 엔비디아가 직접 파운데이션 연구소가 되거나, 혹은 그것을 가능하게 할 만큼 대규모 투자를 훨씬 더 일찍 집행하거나, 지금과 같은 가치평가에 딜을 맺기 전에 먼저 움직일 수 있는 선택지도 있었을 것 같습니다. 당시에 그런 현금과 정보, 그리고 시장에 대한 통찰이 이미 있었다면, 왜 더 일찍 그렇게 하지 않았는지 실제로 궁금합니다.

​

젠슨 황 Jensen Huang : 저희는 그렇게 할 수 있는 재무적 위치에 오자마자 바로 했습니다.

정말 가능한 순간이 오자마자 움직였고, 더 일찍 할 수 있었다면 당연히 더 일찍 했을 것입니다. 앤스로픽이 저희의 투자를 필요로 하던 당시에는, 저희가 그런 결정을 내릴 수 있는 위치에 있지 않았습니다. 솔직히 말씀드리면, 그때는 그런 방향을 진지하게 생각조차 하지 못했습니다. 결국 핵심은 투자 규모였습니다. 당시 저희는 회사 바깥에 자본을 투자해 본 경험 자체가 거의 없었고, 하물며 그런 대규모 투자는 더더욱 해본 적이 없었습니다. 무엇보다도, 그런 투자가 실제로 필요하다는 사실을 당시에는 충분히 인식하지 못했습니다.

​

드와르케시 파텔 : 그렇다면 이제 이런 질문이 남습니다. 엔비디아가 여기까지 왔고, 앞으로도 막대한 현금을 계속 벌어들인다면 그 돈으로 무엇을 해야 할까요. 한 가지 가능한 답은, 파운데이션 연구소들이 컴퓨팅을 직접 사는 대신 임대해 쓸 수 있도록, 다시 말해 CapEx를 OpEx로 바꿔주는 새로운 중간자 생태계가 등장했다는 점입니다. 칩 자체는 매우 비싸지만, AI 모델이 계속 좋아지면서 그 칩이 수명 기간 동안 만들어내는 수익도 점점 커지고 있기 때문입니다.

​

즉 이들이 만들어내는 가치, 다시 말해 토큰의 가치는 계속 높아지고 있습니다. 문제는 초기 설치 비용이 너무 크다는 점입니다. 그런데 엔비디아는 그 CapEx를 감당할 수 있을 만큼 충분한 현금을 갖고 있습니다.

실제로 코어위브에 최대 $6.3B를 보증하고, $2.0B를 투자했다는 보도도 있었습니다.

​

그렇다면 자연스럽게 이런 질문이 나옵니다. 엔비디아는 왜 직접 클라우드 사업자가 되지 않는 것일까요. 왜 직접 하이퍼스케일러가 되어 컴퓨팅을 임대하지 않는 것일까요. 그럴 만한 현금은 이미 갖고 있는데 말입니다.

​

​

젠슨 황 Jensen Huang : 이건 저희 회사의 철학과도 맞닿아 있고, 저는 그게 매우 현명한 생각이라고 봅니다. 필요한 만큼은 반드시 하되, 가능한 한 적게 해야 한다는 것입니다. 이 말의 뜻은 분명합니다. 저희가 직접 하지 않으면 아예 세상에 생기지 않을 일이라면, 그건 저희가 해야 한다는 것입니다.

​

예를 들어 컴퓨팅 플랫폼을 구축하는 일은 저희가 하지 않았다면 실제로 존재하지 않았을 것입니다. 저희가 그만한 리스크를 감수하지 않았다면, NVLink를 그렇게 만들지 않았다면, 전체 스택을 직접 구축하지 않았다면, 생태계를 그렇게 키워내지 않았다면, 그리고 수년 동안 손실을 보면서도 20년 넘게 CUDA에 헌신하지 않았다면, 아무도 그렇게 하지 않았을 것입니다. CUDA-X 라이브러리들을 각 도메인별로 만들지 않았다면, 한 세대 반쯤 앞서 도메인 특화 라이브러리의 필요성을 깨닫고 그 방향으로 밀고 나가지 않았다면, 레이 트레이싱이든 이미지 생성이든 초기 AI 워크로드든, 또 데이터 처리와 정형 데이터, 벡터 데이터 처리를 위한 라이브러리들을 만들지 않았다면, 그것들 역시 아무도 만들지 않았을 것입니다.

​

이 점만큼은 저는 완전히 확신합니다. 예를 들어 저희는 컴퓨테이셔널 리소그래피를 위한 cuLitho 라이브러리를 만들었습니다. 저희가 만들지 않았다면, 아무도 만들지 않았을 것입니다. 저희가 해온 일들을 하지 않았다면 가속 컴퓨팅은 지금의 위치까지 오지 못했을 것입니다. 그래서 그 일은 반드시 해야 합니다. 회사 전체를, 모든 역량을, 온 마음을 다해 그 일에 헌신해야 합니다.

​

하지만 클라우드는 다릅니다. 세상에는 이미 많은 클라우드 사업자들이 있습니다. 저희가 직접 하지 않아도 결국 누군가는 하게 될 것입니다. 그래서 저희는 필요한 만큼만 하고, 가능한 한 적게 하려는 철학을 따릅니다. 그 철학은 지금도 회사 전반에 살아 있습니다. 저희는 하는 모든 일을 그 렌즈를 통해 봅니다.

​

클라우드의 경우도 마찬가지입니다. 코어위브(CoreWeave) 같은 네오클라우드, AI 클라우드가 존재할 수 있도록 저희가 지원하지 않았다면, 그들은 지금처럼 존재하지 못했을 것입니다. 엔스케일(Nscale)도 마찬가지이고, 네비우스(Nebius)도 마찬가지입니다. 저희가 뒷받침하지 않았다면 지금의 위치까지 오기 어려웠을 것입니다. 그런데 지금 그들은 아주 잘 성장하고 있습니다. 그게 저희가 원하는 방식입니다.

​

그게 저희 비즈니스 모델이냐고 묻는다면, 다시 같은 답을 드리겠습니다.

필요한 만큼만 하되, 가능한 한 적게 한다는 것입니다. 저희가 생태계에 투자하는 이유는 생태계가 번성하기를 바라기 때문입니다. 저희 아키텍처와 AI가 가능한 한 많은 산업, 가능한 한 많은 국가와 연결되기를 바랍니다. 지구 전체가 AI 위에서, 그리고 미국의 기술 스택 위에서 구축될 수 있기를 바랍니다. 저희는 그 비전을 매우 분명하게 추구하고 있습니다.

​

그리고 말씀하신 것처럼 정말 훌륭하고 놀라운 파운데이션 모델 회사들이 많이 있습니다. 저희는 가능한 한 그 모두를 지원하려고 합니다. 그것 역시 저희가 하는 일 가운데 하나입니다. 저희는 승자를 고르려 하지 않습니다. 모두를 지원해야 한다고 생각합니다. 그것이 저희에게는 즐거움의 일부이기도 하고, 동시에 비즈니스적으로도 필수적입니다. 그래서 한 곳에만 베팅하려 하기보다, 가능한 한 모두를 도우려 합니다. 하나에 투자하면 결국 모두에게 투자한다는 생각에 가깝습니다.

​

왜 그렇게까지 승자를 고르지 않으려 하느냐고요. 첫째, 그건 저희 역할이 아니기 때문입니다. 둘째, 엔비디아가 처음 시작했을 때를 떠올려 보면 답이 나옵니다. 당시에는 3D 그래픽 회사가 60곳이나 있었습니다. 그런데 결국 살아남은 것은 저희 하나뿐이었습니다. 그 60개 회사 가운데 어디가 살아남을지를 당시 사람들에게 물었다면, 엔비디아는 아마 살아남지 못할 회사 목록 상위권에 있었을 것입니다.

​

지금 여기 계신 분들보다 훨씬 이전 이야기지만, 당시 엔비디아의 그래픽 아키텍처는 조금 틀린 정도가 아니라 완전히 틀린 방향이었습니다. 개발자들이 지원하기도 거의 불가능한 수준이었고, 도저히 살아남을 수 없어 보였습니다. 저희는 좋은 제1원리에서 출발해 논리적으로 추론했지만, 결과적으로는 틀린 답에 도달한 셈이었습니다. 당시 누구도 저희를 유력한 승자로 보지 않았을 것입니다. 그런데 지금 저희는 여기까지 왔습니다. 그래서 저는 그 사실 앞에서 겸손할 수 있습니다.

​

그러니 승자를 고르지 말아야 합니다. 그들 스스로 해내도록 두든지, 아니면 모두를 돌보든지 둘 중 하나입니다. 아까 네오클라우드 얘기와 관련해서 한 가지 이해가 잘 안 된다는 질문도 있었습니다. 네오클라우드라는 이유만으로 혹은 그들을 지원하고 싶다는 이유만으로 특별히 우선시하는 것은 아니라고 하면서도, 동시에 여러 네오클라우드를 언급하며 엔비디아가 없었다면 존재하지 못했을 것이라고 말한 것이 어떻게 양립하느냐는 질문이었습니다.

​

제 답은 이렇습니다. 우선 그들 스스로 존재하기를 원해야 합니다. 직접 찾아와 도움을 요청해야 합니다. 사업을 하고자 하는 의지, 사업 계획, 전문성, 열정이 있어야 합니다. 당연히 어느 정도는 스스로 해낼 수 있는 역량도 갖추고 있어야 합니다. 하지만 사업을 시작하는 데 일정 수준의 투자가 필요하다면, 저희는 그 자리에 있어 줄 것입니다.

결국 중요한 것은 플라이휠이 더 빨리 돌기 시작하도록 만드는 것입니다. 그 속도가 빠를수록 좋습니다.

​

또 금융업을 하고 싶으냐는 질문도 있었습니다. 제 답은 분명합니다. 아닙니다. 금융은 금융을 하는 사람들이 있습니다. 저희는 금융업자가 되기보다는, 그 모든 금융업자들과 함께 일하는 쪽을 택하겠습니다. 저희의 목표는 저희가 가장 잘하는 일에 집중하고, 비즈니스 모델을 가능한 한 단순하게 유지하면서, 동시에 생태계를 지원하는 것입니다.

​

예를 들어 오픈AI처럼 IPO 이전 단계에서 $30B 규모의 투자가 필요한 회사가 있다고 해보겠습니다. 저희가 그 회사를 깊이 신뢰하고, 이미 오늘날 비범한 회사라고 생각하며, 앞으로 더 놀라운 회사가 될 것이라고 믿는다면, 그리고 세상이 그들의 존재를 필요로 하고 원하며, 저 역시 그들의 존재를 바란다면, 그들이 성장할 수 있도록 지원해야 합니다. 그런 투자는 그들이 필요로 하기 때문에 하는 것입니다.

​

하지만 저희는 가능한 한 많이 하려는 것이 아닙니다. 철학은 같습니다. 가능한 한 적게 하려는 것입니다.

​

드와르케시 파텔 : 어쩌면 당연한 질문일 수 있습니다. GPU 공급 부족은 이미 수년째 이어지고 있고, 모델이 점점 더 좋아지면서 지금은 그 규모가 더 커진 상태입니다. 그런데 엔비디아는 이 희소한 공급을 단순히 가장 높은 가격을 부르는 곳에 몰아주는 방식으로 배분하지는 않는 것으로 알려져 있습니다.

​

대신 네오클라우드들이 실제로 존재하고 성장할 수 있도록 코어위브에도 주고, 크루소에도 주고, 람다에도 주는 식으로 시장을 나눠주고 있다는 이야기입니다. 그렇다면 이런 방식이 엔비디아에는 왜 좋은 것인지 궁금합니다. 우선, 실제로 시장을 이런 식으로 분산해 공급하는 접근에 동의하시는지부터 듣고 싶습니다.

​

젠슨 황 Jensen Huang : 전제 자체가 틀렸습니다. 저희는 이런 문제들에 대해 충분히 매우 신중합니다.

​

우선, 발주서를 넣지 않으면 아무리 많은 이야기를 해도 의미가 없습니다. 주문이 들어오기 전까지 저희가 할 수 있는 일에는 한계가 있습니다. 그래서 첫 번째로 중요한 일은 고객들과 함께 수요 예측을 최대한 정교하게 맞춰가는 것입니다. 이런 제품들은 만드는 데 시간이 오래 걸리고, 데이터센터 역시 짓는 데 오랜 시간이 필요하기 때문입니다. 결국 수요와 공급을 예측을 통해 맞춰가는 것, 그것이 첫 번째 임무입니다.

​

두 번째로는 가능한 한 많은 고객들과 함께 예측을 맞추려고 노력합니다. 하지만 결국 마지막에는 실제 주문이 들어와야 합니다. 어떤 이유에서든 주문을 넣지 않았다면 저희로서도 할 수 있는 일이 많지 않습니다. 결국 기본 원칙은 선착순입니다.

​

물론 예외적으로 조정이 필요한 경우는 있습니다.

예를 들어 어떤 고객의 데이터센터가 아직 준비되지 않았거나, 데이터센터를 완성하는 데 필요한 특정 부품이 아직 갖춰지지 않았다면, 그 경우에는 다른 고객의 주문을 먼저 처리하기로 결정할 수도 있습니다. 그건 저희 공장의 처리량을 최대화하기 위한 운영상의 판단입니다. 그런 범위 안에서는 약간의 조정이 있을 수 있습니다. 하지만 그 외에는 기본적으로 선착순입니다. 결국 발주서를 넣어야 합니다. 발주서를 넣지 않으면 시작 자체가 되지 않습니다.

​

이와 관련해 여러 이야기가 떠돌기도 합니다. 예를 들어 래리와 일론이 저와 저녁을 먹으면서 GPU를 구걸했다는 식의 기사도 있었습니다. 그런 일은 없었습니다. 저녁 식사를 함께한 것은 사실입니다. 분명히 했고, 아주 좋은 자리였습니다. 하지만 그들이 GPU를 구걸한 적은 단 한 번도 없습니다. 그냥 주문을 넣으면 됩니다. 주문이 들어오면 저희는 최선을 다해 물량을 공급합니다. 그렇게 복잡한 문제가 아닙니다.

​

드와르케시 파텔 : 그렇다면 결국 일정한 대기열이 있고, 데이터센터의 준비 상태와 발주서 제출 시점에 따라 특정 시기에 물량을 배정받는 구조라는 말씀이군요. 다만 그렇게 설명하신다고 해도, 단순히 가장 높은 가격을 제시한 쪽이 먼저 물량을 가져가는 방식은 아닌 것처럼 들립니다. 만약 그렇다면, 그렇게 배분하는 특별한 이유가 있는지도 궁금합니다.

​

젠슨 황 Jensen Huang : 저희는 절대 그렇게 하지 않습니다. 그건 나쁜 비즈니스 관행이기 때문입니다. 저희는 가격을 정해 놓고, 고객이 그 가격에 살지 말지를 판단하도록 합니다. 물론 반도체 업계 다른 곳들 가운데는 수요가 강할 때 가격을 올리는 경우도 있다는 것을 알고 있습니다. 하지만 저희는 그렇게 하지 않습니다. 그건 저희가 일해 온 방식이 아닙니다.

​

저희는 고객이 믿고 거래할 수 있는 존재, 업계의 기반이 되는 회사를 지향합니다. 고객이 매번 다시 계산하고 의심할 필요가 없도록 하는 것이 중요합니다. 저희가 가격을 제시했다면 그게 곧 가격입니다. 거기서 끝입니다. 수요가 폭발적으로 늘어나더라도 그 원칙은 바뀌지 않습니다.

​

드와르케시 파텔 : 반대로 말하면, 바로 그런 원칙 때문에 TSMC와도 생산적이고 신뢰할 수 있는 관계를 계속 유지할 수 있는 것 아닌가요?

​

​

젠슨 황 Jensen Huang : 네, 엔비디아는 TSMC와 거의 30년 가까이 함께 사업해 왔습니다. 엔비디아와 TSMC 사이에는 사실 법적 계약서 이상의 것이 있습니다. 전반적으로 서로 공정하다는 믿음입니다. 때로는 제가 맞고, 때로는 틀리기도 합니다. 때로는 더 좋은 거래를 할 때도 있고, 때로는 덜 좋은 거래를 할 때도 있습니다.

하지만 전체적으로 보면 이 관계는 정말 놀라울 정도입니다. 완전히 신뢰할 수 있고, 완전히 의지할 수 있습니다.

​

엔비디아에 대해 여러분이 믿을 수 있는 것 중 하나는 이것입니다. 올해는 Vera Rubin이 놀라운 제품이 될 것이고 → 내년에는 Vera Rubin Ultra가 나올 것이며 → 그다음 해에는 Feynman이 나올 것이고 → 그다음 해에는 아직 이름을 공개하지 않은 차세대 제품이 나올 것입니다. 매년 저희를 믿을 수 있습니다.

​

세계 어느 ASIC 팀이든 마음에 드는 팀을 골라 보십시오. 회사 전체를 걸고, 사업 전체를 걸고, 매년 이런 약속을 할 수 있는 곳이 어디인지 보시면 됩니다. 해마다 저희 곁에 있을 것이라고, 토큰 비용이 매년 한 자릿수 비율로 계속 낮아질 것이라고, 시계처럼 예측 가능하게 움직일 것이라고 말할 수 있는 곳이 얼마나 있는지 보시면 됩니다.

​

방금 TSMC에 대해서도 비슷한 말씀을 드렸습니다. 역사상 어떤 파운드리에 대해서도 이런 식으로 말할 수는 없었습니다. 그런데 오늘날 엔비디아에 대해서는 그렇게 말할 수 있습니다. 매년 믿을 수 있습니다. $1B 규모의 AI 팩토리 컴퓨팅을 사고 싶어도 문제없습니다. $100M어치를 사고 싶어도 문제없습니다. $10M어치를 사고 싶어도 문제없습니다.

랙 하나만 사고 싶어도 문제없습니다. 그래픽 카드 한 장만 사고 싶어도 문제없습니다. 반대로 $100B 규모의 AI 팩토리를 주문하고 싶어도 문제없습니다.

​

오늘날 세계에서 이런 말을 할 수 있는 회사는 저희밖에 없다고 생각합니다. TSMC에 대해서도 비슷한 말을 할 수 있습니다. 하나를 사든, 10억 개를 사든 문제없습니다. 물론 계획을 세우는 과정은 거쳐야 하고, 성숙한 기업이라면 마땅히 해야 할 모든 절차도 밟아야 합니다. 하지만 엔비디아가 오늘날 세계 AI 산업의 기반이 될 수 있는 이 능력은 하루아침에 만들어진 것이 아닙니다. 여기까지 오는 데 수십 년이 걸렸습니다. 그만큼 엄청난 헌신과 엄청난 노력이 들어갔습니다. 저희 회사의 안정성과 일관성은 정말 중요합니다.

AI가 아닌 가속컴퓨팅 기업

왜 여러 칩을 동시에 개발하지 않는가에 대한 답변

드와르케시 파텔 : 앞서 TSMC와 메모리 병목 이야기를 했습니다. 이미 지금도 AI가 N3 물량의 상당 부분을 차지하고 있고, 어느 시점이 되면 N2에서도 비슷한 일이 벌어질 가능성이 큽니다. 그렇다면 이런 상상도 해볼 수 있을 것 같습니다.

​

최첨단 공정의 확장 속도가 AI 수요를 끝까지 따라가지 못하는 상황에서, 오히려 여유 생산 능력이 남아 있는 구형 공정, 예를 들어 N7 같은 노드로 돌아가서 오늘날 우리가 알고 있는 수치 연산 기법과 앞서 말씀하신 각종 개선 사항들을 총동원해 Hopper나 Ampere 같은 제품을 다시 만들어내는 세상 말입니다.

과연 2030년 이전에 그런 세상이 올 수 있다고 보시는지 궁금합니다.

​

젠슨 황 Jensen Huang : 그럴 필요는 없다고 봅니다. 이유는 각 세대의 아키텍처 발전이 단순히 트랜지스터를 더 미세하게 만드는 차원을 넘어섰기 때문입니다. 엔지니어링, 패키징, 적층, 수치 연산, 시스템 아키텍처 전반에서 엄청난 수준의 개선이 함께 이뤄지고 있습니다. 생산 능력이 부족하다고 해서 이전 노드로 쉽게 되돌아가는 것은, 사실상 누구도 감당하기 어려운 수준의 연구개발을 요구합니다.

​

앞으로 나아가는 것은 감당할 수 있지만, 뒤로 돌아가는 것은 오히려 감당하기 더 어렵다고 생각합니다. 다만 하나의 사고실험으로 보자면, 만약 어느 날 세상이 앞으로 영원히 생산 능력을 더 늘릴 수 없다고 확정된다면 어떨까요. 그 경우 7나노로 돌아가겠느냐고 묻는다면, 당연히 저는 즉시 그렇게 할 것입니다.

​

드와르케시 파텔 : 왜 엔비디아는 완전히 다른 아키텍처를 기반으로 한 여러 칩 프로젝트를 동시에 병렬로 추진하지 않는 것일까요? 예를 들어 Cerebras 같은 웨이퍼 스케일 접근도 있을 수 있고, Dojo처럼 초대형 패키지 구조도 있을 수 있습니다. CUDA가 전혀 필요 없는 방향을 실험해볼 수도 있을 것입니다. 엔비디아는 이런 여러 선택지를 동시에 추진할 수 있을 만큼 자본도 있고, 엔지니어링 역량과 인재도 충분히 갖추고 있습니다.

​

그런데 AI가 앞으로 어디로 갈지, 그리고 궁극적으로 어떤 아키텍처가 더 유리해질지 아직 확실하지 않은 상황이라면, 왜 하나의 큰 방향에만 사실상 모든 것을 걸고 가는 것인지 궁금합니다. 결국 왜 모든 달걀을 한 바구니에 담는 것처럼 보이는 선택을 하는 것일까요?

​

​

젠슨 황 Jensen Huang : 물론 그렇게 할 수는 있습니다. 다만 지금으로서는 그것보다 더 나은 아이디어가 없을 뿐입니다. 말씀하신 모든 접근은 기술적으로 시도할 수 있습니다. 하지만 저희 판단으로는 더 낫지 않습니다. 시뮬레이터로 전부 검증해보면, 결과가 오히려 더 나쁘다는 것이 꽤 분명하게 드러납니다. 그래서 하지 않는 것입니다. 결국 저희는 지금 가장 맞다고 생각하는 프로젝트들을 정확히 추진하고 있습니다.

​

물론 워크로드가 극적으로 바뀐다면 이야기는 달라질 수 있습니다. 여기서 말하는 워크로드는 알고리즘 자체가 아니라, 실제 시장에서 발생하는 수요의 형태를 뜻합니다. 그 시장 구조가 달라진다면 저희도 다른 종류의 가속기를 추가하기로 결정할 수 있습니다.

​

예를 들어 최근에는 Groq를 추가했고 앞으로 Groq를 CUDA 생태계 안에 통합할 계획입니다. 지금 저희가 그렇게 하는 이유는 토큰의 가치가 너무 높아졌기 때문입니다.

이제는 토큰 가격을 서로 다르게 책정할 수 있는 시장이 생겼습니다. 불과 몇 년 전만 해도 토큰은 사실상 무료이거나 거의 비용이 들지 않는 정도였습니다. 하지만 지금은 상황이 다릅니다. 고객층이 훨씬 다양해졌고 이들은 각기 다른 종류의 답변과 서비스 수준을 원합니다.

​

소프트웨어 엔지니어 같은 고객들은 AI를 통해 이미 많은 가치를 만들어내고 있습니다. 그렇다면 더 빠른 응답 속도의 토큰을 제공해 지금보다 훨씬 더 생산적으로 만들어줄 수 있다면, 그에 대한 추가 비용도 기꺼이 지불할 것입니다. 이런 시장은 사실 최근에야 본격적으로 생겨났습니다. 그래서 이제는 같은 모델이라도 응답 시간(Latency)에 따라 서로 다른 세그먼트로 나눌 수 있는 능력이 생겼다고 보고 있습니다.

​

그것이 저희가 파레토 프론티어를 더 넓히고, 처리량(throughput)은 다소 낮더라도 응답 시간이 더 빠른 추론 세그먼트를 만들기로 결정한 이유입니다. 지금까지는 언제나 높은 처리량을 추구하는 것이 최선이었습니다. 하지만 이제는 처리량이 조금 낮더라도, 훨씬 높은 ASP가 그것을 충분히 보상해줄 수 있는 고가 토큰의 시장이 가능해졌다고 생각합니다. 그것이 그런 결정을 한 배경입니다.

​

하지만 그 외의 부분에서는 적어도 아키텍처 관점에서는, 자본이 더 많아진다고 해서 완전히 다른 방향으로 분산 투자하기보다는 기존 엔비디아 아키텍처에 더 많이 투자하는 쪽이 맞다고 봅니다.

​

*코멘트 → <엔비디아 GTC 2026 : 7개의 칩, 5개의 랙 시스템, 그리고 하나의 AI 슈퍼컴퓨터> 자료에서 Groq의 의미에 대해서 전해드린 바 있었습니다. 이에 대해서 가져오자면 이렇습니다.

​

토크노믹스 이해하기 : Throughput ↔ Latency

AI 서버 설정에 있어 Throughput(동일 전력 대비 초당 토큰 출력량, TPS/MW)과 Latency(사용자당 초당 토큰 출력량, TPS/User)는 대표적인 상충 관계에 있습니다. batch size를 키우면 전체 throughput은 개선되지만, 개별 사용자가 체감하는 latency는 저하됩니다. 기존에는 더 많은 유저에게 높은 토큰 출력량을 제공하기 위해 단일 GPU 도메인을 NVL8 → NVL72 → NVL144 등으로 키우는 Scale-up에 집중했습니다. 하지만 이러한 물리적 확장만으로는 Interactivity를 높이는 데 한계가 있었고, 투자 대비 얻을 수 있는 효용도 점차 감소했습니다.

​

패러다임 전환 : 모든 토큰의 가치는 같지 않다

기업 입장에서 AI 팩토리의 핵심 목표는 'TCO 대비 최대 매출총이익'의 달성입니다. 과거에는 전력(Token/Watt)이나 비용(Token/$) 대비 토큰 생산량만 따졌으나, 이제는 어떤 서비스를 제공하느냐에 따라 같은 백만 토큰이라도 창출하는 매출이 달라집니다.

​

서비스별 마진 차이 : B2C(무료 챗봇, 롤플레잉 등)에 비해 B2B(API, 코딩 등) 서비스의 토큰당 매출이 훨씬 높습니다. 앤스로픽이 업계에서 빠르게 치고 올라오는 이유이며, 오픈AI가 뒤늦게라도 추격하며 B2B에서 점유율을 얻고 있는 이유이고, 최근 구글이 부진한 이유입니다.

Tier 차등화 전략 : LLM 기업들은 사용자 기반을 넓히는 무료 모델(마케팅 용도)에는 상대적으로 낮은 지능과 느린 속도를, 고수익을 창출하는 Premium 요금제(ChatGPT Pro, Claude Max 등)에는 가장 뛰어난 모델을 최상의 속도로 제공하여 수익을 극대화하고 있습니다.

Agentic AI의 부상 : 2025년 하반기 Claude Code의 성공 등을 기점으로 Agentic AI 트렌드가 가속화되면서, 고부가가치 워크로드를 처리하기 위한 새로운 인프라 니즈가 폭발적으로 증가하고 있습니다.

​

'속도가 곧 브랜드 가치이다'

엔비디아의 젠슨 황 CEO가 Groq의 LPU 아키텍처가 엔비디아와 결합하여 잘 돌아가는 것을 확인한지 단 3일 만에 인수를 결정한 배경에는 Low Latency가 창출하는 막대한 경제적 가치가 있습니다.

​

이런 트렌드를 깊게 이해하는 데 가장 중요한 자료가 2026년 1월에 미리 전해드렸던, <엔비디아가 $20B를 주고 데려온 남자 : Groq 창업자 조나단 로스의 통찰>입니다. 소비재(CPG) 시장에서 흡연용 담배, 탄산음료, 물 등의 마진율이 뇌로 전달되는 도파민의 속도(성분 작용 속도)와 직결되듯, AI 서비스 역시 즉각적인 반응 속도가 브랜드 충성도와 프리미엄 가치를 결정합니다. 즉, 엔비디아는 하이퍼스케일러와 AI 연구소들이 가장 높은 마진을 남길 수 있는 Agentic AI향 저지연 토큰 시장을 선점하기 위해 Groq을 품은 것입니다.

​

LPX와 네 번째 스케일링 법칙 : 멀티 에이전트 시대를 향하다

엔비디아가 Vera Rubin NVL72를 통해 제시하는 미래는 수많은 에이전트가 협력하여 복잡한 워크로드를 해결하는 '멀티 에이전트 시스템(4번째 스케일링 법칙)'입니다. 이러한 NVL72의 물리적 한계를 뛰어넘기 위해 LPX가 핵심적인 역할을 합니다. Groq의 결정론적 데이터 프로세서와 On-chip SRAM의 강점을 결합하여 분산 추론 과정의 Decode 단계를 혁신적으로 가속화한 것입니다.

그 결과, 엔비디아는 Throughput과 Latency를 동시에 충족시키며 기존에는 도달할 수 없었던 새로운 파레토 프론티어를 개척해 냈습니다. 가장 비싼 토큰값을 지불할 수 있는 사용자들에게 가장 많이 서비스할 수 있도록 하는 작업입니다.

​

드와르케시 파텔 : 마지막 질문입니다. 딥러닝 혁명이 일어나지 않았다고 가정해 봅시다. 엔비디아는 무엇을 하고 있었을까요?

​

​

젠슨 황 Jensen Huang : AI가 존재하지 않았더라도, 저희는 결국 ​가속 컴퓨팅을 계속해 왔을 것입니다. 사실 저희는 처음부터 지금까지 같은 방향을 보고 있었습니다. 저희 회사의 기본 전제는 분명했습니다. 무어의 법칙만으로는 한계가 있다는 것입니다. 범용 컴퓨팅은 많은 일에 유용하지만, 모든 연산에 이상적인 방식은 아닙니다. 그래서 저희는 GPU라는 아키텍처와 CUDA를 CPU와 결합해, CPU가 맡고 있는 다양한 워크로드를 가속할 수 있도록 만들었습니다. 다양한 코드 커널과 알고리즘을 GPU로 오프로드할 수 있게 했고, 그 결과 애플리케이션을 100배, 200배까지 가속할 수 있게 됐습니다.

​

그걸 어디에 쓸 수 있느냐고요.

사실 거의 모든 곳에 쓸 수 있습니다. 공학, 과학, 물리학, 데이터 처리, 컴퓨터 그래픽, 이미지 생성 등 셀 수 없이 많은 분야에 적용할 수 있습니다. 오늘날 AI가 존재하지 않았더라도, 엔비디아는 여전히 매우 큰 회사가 되어 있었을 것이라고 생각합니다. 이유는 꽤 근본적입니다. 범용 컴퓨팅은 계속 확장하는 능력 자체가 대체로 한계에 가까워졌고, 물론 유일한 해법이라고까지 말할 수는 없지만, 그 한계를 넘어서는 가장 중요한 방법 가운데 하나가 바로 도메인별 가속이기 때문입니다.

​

저희가 처음 시작한 대표적인 도메인 중 하나는 컴퓨터 그래픽이었습니다. 하지만 그 외에도 수많은 도메인이 있습니다. 입자물리학, 유체역학, 정형 데이터 처리, 그리고 CUDA의 혜택을 받을 수 있는 온갖 다양한 알고리즘들이 있습니다. 저희의 사명은 세상에 가속 컴퓨팅을 가져오는 것이었습니다. 범용 컴퓨팅만으로는 도달할 수 없는 애플리케이션들을 가능하게 하고, 특정 과학 분야에서 돌파구를 만들어낼 수 있을 만큼의 성능과 규모로 그것을 확장하는 것이었습니다.

​

초기 애플리케이션을 떠올려보면, 분자 동역학, 에너지 탐사를 위한 지진 데이터 처리, 이미지 처리 같은 것들이 있었습니다.

공통점은 분명했습니다. 모두 범용 컴퓨팅으로 처리하기에는 너무 비효율적인 문제들이었다는 점입니다. 물론 AI가 없었다면 저희로서는 꽤 아쉬웠을 것입니다. 하지만 동시에 저희가 컴퓨팅 분야에서 만들어낸 발전 덕분에 딥러닝을 민주화할 수 있었습니다. 어느 연구자든, 어느 과학자든, 어느 학생이든, 어느 곳에 있든 PC나 GeForce 애드인 카드에 접근할 수만 있다면 놀라운 연구를 할 수 있도록 만들었습니다.

​

그 근본적인 약속은 지금도 전혀 바뀌지 않았습니다. GTC를 봐도 알 수 있습니다. 행사 초반부를 보면, 그 가운데 상당수는 AI 이야기가 아닙니다. 컴퓨테이셔널 리소그래피, 양자화학 연구, 데이터 처리 작업 같은 것들은 AI와 직접 관련이 없지만 여전히 매우 중요합니다. 물론 AI가 아주 흥미롭고, 지금 가장 강력한 흐름 가운데 하나라는 점은 잘 알고 있습니다. 하지만 세상에는 AI와 직접 관련되지 않으면서도 매우 중요한 일을 하는 사람들이 여전히 많습니다. 그리고 텐서 연산만이 컴퓨팅의 유일한 방식은 아닙니다. 저희는 그 모든 사람들을 돕고 싶습니다.