AI 사이클 한 눈에 보기, SemiAnalysis 인터뷰 : "거품은 없다. AI ARR $100B가 온다"

[원문 유형] 네이버 프리미엄 콘텐츠
[채널] 올바른 미국주식 by SAPIENS
[게시일] 2026.03.05. 오후 6:05
[원문 URL] https://contents.premium.naver.com/sapiens/sapiensasset/contents/260305180514482cl
[제목] AI 사이클 한 눈에 보기, SemiAnalysis 인터뷰 : "거품은 없다. AI ARR $100B가 온다"
[수집 기준] 승인된 구독 열람권으로 실제 본문을 보존했다. 이미지·첨부는 별도 미디어 원장에 보관하며 시각적 의미 검토 여부를 구분한다.

[구독 원문 본문]
​

안녕하세요 올바른입니다.

​

SemiAnalysis 수석 애널리스트 딜런 파텔의 인터뷰입니다. 1시간 16분 가량의 팟캐스트에서 얻을 것들이 많습니다. 최근의 AI 사이클에 대한 생각들을 정리해봤습니다.

​

이번에도 시간을 내셔서 차분히 읽어보실만한 내용이 많습니다. 2026년의 AI 사이클을 살펴보기에 좋습니다. Groq, AI 스타트업 춘추전국시대, 빅테크의 보증, GPT-6에 대한 예상입니다.

​

지금의 AI CapEx가 지탱되는 이유, 엔비디아가 범용을 넘어 특화로 가려고 하는 이유, CUDA의 해자가 끝난 것인지에 대한 생각, 화웨이와 중국의 반도체 굴기에 대한 생각이 담겨있습니다.

​

SemiAnalysis 인터뷰

2026-03-05

AI 사이클 한 눈에 보기, SemiAnalysis 인터뷰 : "거품은 없다. ARR $100B가 온다"

2025-09-26

AI 사이클 한 눈에 보기, SemiAnalysis 인터뷰 : 승부사 젠슨황 그리고 화웨이의 역습 (바로가기)

엔비디아 (NVDA)

2026-02-26

엔비디아 4Q25 실적발표 : 담백한 실적발표, 핵심은 모두 그린라이트 (바로가기)

2026-02-25

AI 인프라 1GW의 경제학 : 엔비디아의 '현금' vs AMD의 '워런트' (바로가기)

2025-01-21

추론의 시대, 핵심이 된 메모리 : 메모리 쇼티지를 떠받치고 있는 힘 (바로가기)

2026-01-02

엔비디아가 $20B를 주고 데려온 남자 : Groq 창업자 조나단 로스의 통찰 (바로가기)

네오클라우드는 데이터센터당 얼마를 버는가?

2026-02-10

네오클라우드 뜯어보기 : GPU 임대의 경제학, 네오클라우드 BIG 4 비교분석 (바로가기)

2026-02-22

네오클라우드 뜯어보기 #2 : 새로운 시대의 AI 계급도, 전력을 돈으로 바꾼 Powered Shell (바로가기)

투자자문 서비스에 따른 투자 시 원금 손실이 발생할 수 있으며, 투자 손익에 대한 책임은 전적으로 고객에게 귀속됩니다. 또한 과거의 투자수익이 미래의 수익률을 보장하지 않습니다.

​

신규 구독 전에, 아래 투자자문계약 권유문서의 계약 관련 제반 사항을 반드시 읽으시고 충분히 검토하시기 바랍니다.

​

*투자자문계약 권유문서 : https://naver.me/5ZST47Qf

목차

​

"오직 편집광만이 살아남는다" : 범용을 넘어 특화 칩으로 나아가는 길

AI 반도체 춘추전국시대 : 과연 CUDA의 해자는 끝났을까?

엔비디아 vs 화웨이 : 중국의 반도체 굴기와 $50B 규모의 Chips Act

AI 인프라 CapEx 거품론 : AI ARR $100B, 빅테크의 보증서, Tier 1 AI Lab들의 모델

딜런 파텔 Dylan Patel

2026년 2월 5일, SemiAnalysis 창업자 겸 수석 애널리스트

"오직 편집광만이 살아남는다"

범용을 넘어 특화 칩으로 나아가는 길

*세미애널리시스(SemiAnalysis)는 AI 반도체 분야 공부에 가장 많이 참고하는 독립리서치입니다. 창업자이자 수석 애널리스트이자 CEO인 딜런 파텔(Dylan Patel)의 인터뷰입니다. 세미애널리스트 팀은 소프트웨어, 하드웨어, 네트워킹, 데이터센터 등 각 분야별로 이해도가 높고 데이터를 끊임없이 트래킹하고 있기에 업계에선 유명합니다.

​

*인터뷰어는 VC인 Firstmark의 맷 터크(Matt Turck)입니다. 미국과 유럽 전역의 Enteprise Software에 투자하고 있는 투자자입니다. 커리어는 TripleHop이라는 AI 검색 스타트업을 창업하고, 오라클에 인수된 뒤 임원에서 재직했었습니다.

Firstmark 이전에는 Bloomberg Ventures 설립에 참여한 파트너로 활동하다가 넘어온 경력입니다.

​

맷 터크 Matt Turck : Groq과 엔비디아부터 얘기를 시작하고 싶네요. 얼마 전 엔비디아가 GPU 하나로 모든 것을 할 수 있다고 말했는데, 이제 Groq과 비독점 계약을 맺고 인수를 진행했는데, 이건 뭘 뜻하는 건가요?

​

딜런 파텔 Dylan Patel : 아주 명확합니다. 우리는 AI 모델이 향후 몇 년 동안 어떤 방향으로 나아갈지, 아키텍처에 어떤 일이 일어날지 확실하지 않지만, 모두가 동의하는 것은 모델이 상당히 자기회귀적이라는 것입니다. 흥미로운 점은 엔비디아가 이긴 이유는 가장 넓은 표면적에 베팅했고, 사람들이 그 위에 모델을 계속 개발했기 때문이며, 그 모양이 잘 맞았다는 것입니다. 하지만 이제 워크로드가 너무 커져서 특정 도메인에서 10배의 증가를 가져올 수 있는 전문화의 여지가 있습니다.

​

일반적인 워크로드에서는 Groq이 작동하지 않습니다. 모델을 훈련할 수 없고, 정말 정말 큰 모델을 효율적으로 추론할 수 없습니다. 많은 사용자를 서비스할 수 없습니다. 하지만 매우 빠르게 작동한다는 데 장점이 있습니다. 최근의 오픈AI-세레브라스 거래도 비슷한 맥락이었습니다. 단일 워크로드만 잘 굴리기 위한 칩을 받은 것입니다. Decode 중심적인 워크로드에서 단일 스트림에서 자동 회귀 토큰을 생성하는 것에 특화된 칩입니다.

모델이 CoT를 통해서 여러 번의 컨텍스트를 처리해가며 답하게 되어 있고, 여러 병렬 스트림을 생성하며 답합니다. 오픈AI와 구글 모두 Pro 모델로 이러한 매커니즘을 출시했는데, 단일 CoT만 진행하는 게 아니라 병렬로 Reasoning하는 특징을 갖고 있습니다.

​

그리고 추론의 다른 영역도 있습니다. KV Cache를 만드는 칩입니다. 엔비디아는 이것을 위한 칩을 이미 만들었습니다. CPX입니다. Prefill을 위해 CPX를 만들고, Decode를 위해 Groq을 인수했으며, 여전히 범용 GPU를 갖고 있습니다. 엔비디아는 자신들이 선두 주자라는 것을 알고 있습니다. 중심에 있습니다. 한편으로는 다른 모든 사람들보다 더 빨리 달릴 수 있지만, 계속해서 구글이나 오픈AI 또는 다른 회사의 ASIC보다 2배 더 좋다는 것을 정당화하기는 어려운 것이기도 합니다. GPM 75%를 정당화하기 위해 말이죠.

​

이제 중요한 건,'과연 어떤 하드웨어 아키텍처가 그것을 구현해 낼 것인가'입니다. 물론 GPU의 프로그래밍 가능성을 유지하는 것은 AI 훈련이나 다양한 워크로드를 처리하는 데 아주 훌륭한 강점입니다. 하지만 앞으로 많은 사람들은 그저 오픈소스 모델과 추론 프레임워크를 다운로드한 뒤, 바로 실행 버튼을 누르는 방식을 택할 것입니다. 현실은 그것보다 조금 더 복잡하겠지만 수많은 일반 기업과 스타트업, 테크 회사들의 소비 방식은 바로 그런 형태가 될 것입니다.

직접 다운로드해서 실행하거나, 아니면 클라우드에서 GPU나 칩을 대여한 다음 오픈소스 프레임워크와 모델을 올려 곧바로 구동하는 식이 되겠죠.

​

엔비디아 역시 이런 흐름을 정확히 인식하고 있으며, 모든 것에 두루 쓰이는 범용이 아닌 특정 목적을 위한 맞춤형 제품의 시장성도 분명 존재한다고 판단하고 있습니다. 당연히 범용 GPU가 여전히 모델 훈련의 주축을 담당하고, 대다수의 일반적이거나 비용 효율적인 추론 작업에서 메인 라인 역할을 할 것입니다. 하지만 압도적으로 빠른 속도를 요구하거나, KV Cache를 생성하는 것처럼 Prefill 과정이 막대하게 필요한 워크로드들도 있습니다. 이런 특수한 워크로드에는 범용 GPU가 아닌 다른 형태의 칩이 필요할 수 있습니다.

​

엔비디아가 발표한 CPX 칩이 바로 그런 맥락입니다. 그들은 이 칩이 컨텍스트 처리, 즉 KV Cache 생성을 위한 것이라고 설명하죠. 또한 비디오 모델은 상대적으로 메모리 대역폭의 영향을 크게 받지 않기 때문에 비디오 모델을 구동하는 데에도 이 칩이 매우 유용합니다.

​

*코멘트 → 이전에 메모리가 부각받는 이유에 대해 설명했던 <추론의 시대, 핵심이 된 메모리 : 메모리 쇼티지를 떠받치고 있는 힘> 자료에서 전해드렸었지만 KV Cache에 대해서 정리드리고, 개인적인 생각들도 쭉 적어봅니다.

​

KV Cache와 Context Window의 딜레마

Transformer 아키텍처의 핵심은 Attention 매커니즘입니다. 모델이 새로운 단어(토큰)를 생성할 때마다, 이전에 입력되거나 생성된 모든 텍스트의 맥락을 다시 계산해야 합니다. 매번 처음부터 다시 계산하는 것은 엄청난 연산 낭비이므로, 이전 토큰들의 연산 결과값인 Key 텐서와 Value 텐서를 메모리에 임시로 저장해 둡니다. 이것이 바로 KV Cache입니다.

​

과거에는 프롬프트 길이가 짧아 큰 문제가 없었지만, 최근 모델들은 수십만에서 수백만 토큰에 달하는 거대한 Context Window를 지원합니다. 책 수십 권 분량의 데이터를 한 번에 입력받게 되면서, 이 KV Cache의 크기가 기하급수적으로 폭발하게 되었습니다. 결과적으로 GPU에 탑재된 HBM의 공간 대부분을 모델의 가중치가 아닌 KV Cache가 차지하게 되며, 다음 토큰을 생성하기 위해서 방대한 KV Cache 데이터를 메모리에서 연산 장치로 끊임없이 퍼 날라야 하는 심각한 Memory-bound 병목 현상이 발생합니다.

​

구조적 모순을 해결하는 Disaggregated Inference

전통적인 LLM 추론에서는 하나의 GPU(또는 하나의 클러스터)가 사용자의 긴 질문을 읽는 Prefill 단계와, 답변을 한 글자씩 뱉어내는 Decode 단계를 모두 처리했습니다.

​

두 작업은 하드웨어에 요구하는 특성이 완전히 다릅니다.

Prefill : 한 번에 대량의 텍스트를 병렬로 처리하므로 막대한 연산 능력(Compute-bound)이 필요합니다.

Decode : 앞선 결과를 기다려야 하는 순차적 작업(Autoregressive)이므로 연산량은 적지만, 메모리에서 데이터를 얼마나 빨리 가져오느냐(Memory-bound)가 관건입니다.

​

이 서로 다른 성격의 작업을 분리하는 것이 Disaggregated Serving(Inference)입니다. 하지만 추론을 워크로드별로 분리하려면 KV Cache, LLM 인식 라우팅, 효율적인 메모리 관리가 하드웨어~소프트웨어~네트워킹단까지 정밀하게 맞물려야 하는데 이러한 요소를 조율하는 것이 NVIDIA Dynamo입니다.

​

연산 능력이 압도적으로 뛰어난 노드(Prefill Node)가 긴 프롬프트를 순식간에 읽어내어 거대한 KV Cache를 '생성'합니다. 그리고 초고속 네트워크(NVLink 등)를 통해 이 KV Cache를 메모리 대역폭과 지연 시간(Latency) 최적화에 특화된 다른 노드(Decode Node)로 전송하여 최종 답변을 빠르게 생성하게 만드는 아키텍처입니다.

​

엔비디아가 가려는 길

그런데 이러한 Disaggregated Inference의 장점을 온전히 살리려면 워크로드별로 특화된 칩들을 통해서 추가적인 가속이 필요합니다. 이것이 CPX, LPX입니다. 결과적으로 엔비디아는 범용 GPU의 장점은 그대로 살리되, Prefill에서는 CPX + Decode에서는 Groq에서 가져온 LPX를 각각 두어 워크로드 전체적인 병목을 최소화하려는 방향입니다.

​

흥미로운 건 CPX의 특성이 비디오 생성 모델에도 부합하는 것입니다. 이렇게 되면 Rubin CPX 랙이 출하되기 시작하면서 각종 생성형AI로 만들어진 쇼츠 비디오들이 대규모 늘어날 수도 있겠습니다. 비디오 생성 모델(주로 Diffusion 기반 모델이나 고해상도 시각 연산)은 픽셀이나 Latent space의 거대한 덩어리를 한 번에 병렬로 처리하는 비중이 훨씬 높습니다. 메모리를 순차적으로 읽고 쓰는 속도보다는 한 번에 쏟아지는 막대한 행렬 곱셈을 뚫어내는 Compute-bound 성향이 강하다는 의미입니다.

​

​

맷 터크 : 이게 좋은 방법일까요? 라이선스 방식이긴 하지만 실제로는 인수와 비슷한 거래 중 하나잖아요?

​

딜런 파텔 Dylan Patel : 독과점 규제나 반경쟁적인 측면에서 볼 때, 저는 이런 상황이 확실히 좋지 않다고 생각합니다. 기업들이 아무런 독과점 심사 절차도 거치지 않고 마음대로 다른 회사를 사들일 수 있어서는 안 되겠죠. 물론 대기업이 이제 막 시작하는 스타트업을 인수하는 일반적인 경우라면 저는 전적으로 찬성합니다.

​

하지만 다른 측면에서 생각해 볼까요? 어떤 인수 거래가 진행 중이라는 사실을 모두가 다 아는 상황 말입니다. 제가 자문으로 있던 회사에서도 비슷한 일이 있었습니다. 엔비디아가 Groq 관련 거래를 하기 불과 몇 달 전에 Enfabrica를 인수했을 때와 비슷한 스타일의 거래였죠.

​

만약 규제 당국 같은 곳에서 이 거래를 제재하고 무산시키려 든다면, 회사는 그야말로 끝없는 교착 상태에 빠지게 됩니다. 벤처 업계에서 이런 일이 벌어지는 것을 종종 보셨을 테고 아마 저보다 더 많은 사례를 알고 계시겠지만, 인수되려던 회사가 1년 가까이 오도 가도 못하는 상태에 갇혀 있다가 결국 딜이 깨져버리는 경우가 허다합니다.

​

결국 무산되어 버리죠. 규제 당국의 이런저런 과도한 간섭과 태클 때문에 거래가 엎어지는 겁니다. 그렇게 되면 회사와 창업자들은 지난 1년 동안 제품을 개선하는 대신 인수 거래를 성사시키는 데에만 온통 매달렸기 때문에 경쟁에서 뒤처지게 됩니다. 본연의 성장에 그만큼 집중하지 못한 결과죠. 아시다시피 창업자가 쓸 수 있는 시간은 한정되어 있으니까요. 그래서 저는 바로 이런 관점 때문에 기업을 완전히 인수하는 것보다 라이선스 계약을 맺는 방식을 더 선호합니다.

​

맷 터크 : 엔비디아가 추론 시장까지도 지배하고 있는 상황인가요? 과연 엔비디아가 더 이상 제왕의 자리에 있지 않은 세상이 오기나 할까요, 아니면 갈수록 오히려 더 막강해지고 있는 걸까요?

​

*코멘트 → 1987년~1998년까지 인텔의 전성기를 이끈 CEO인 앤디 그로브는 "성공은 안일함을 낳고, 안일함은 실패를 낳는다. 오직 편집광만이 살아남는다"를 강조했습니다. 언제 어디서 새로운 경쟁자가 나타날지, 기술이나 시장이 어떻게 급변할지 늘 의심하고, 긴장하며, 철저하게 대비하는 사람만이 살아남는다는 의미입니다.

​

딜런 파텔 Dylan Patel : 엔비디아에 대해 말하자면 이들은 인텔의 전 CEO였던 앤디 그로브(Andy Grove)의 철학을 그 누구보다 진지하게 받아들이는 회사라고 생각합니다. 구글이 인텔을 따라 OKR(목표 및 핵심 결과 지표)을 도입했다고는 하지만, 그건 사실 단순한 경영 기법에 불과하죠. 하지만 앤디 그로브의 명언인 "편집광만이 살아남는다(Only the paranoid survive)"는 철학은 실리콘밸리의 핵심이자, 동시에 엔비디아를 관통하는 핵심 정신입니다. 젠슨 황은 경쟁에서 지는 것에 대해 극도로 편집증적인 태도를 보입니다.

​

만약 그가 엔비디아의 주력인 범용 칩만 계속 고집했다면 어땠을까요? 시장의 특정 영역을 노리는 이른바 맞춤형 솔루션들이 비용과 성능 면에서 엔비디아를 압도해 버렸을 겁니다. 그렇게 되면 엔비디아는 지금의 막대한 마진을 정당화할 수 없게 되겠죠. 이는 엔비디아의 비즈니스 모델 전체에 대한 엄청난 위협입니다.

​

특히 최고 성능의 AI 모델 트렌드가 3개월마다 바뀌는 지금 같은 상황이라면 더더욱 그렇습니다. 특정 솔루션을 위한 단일 칩 아키텍처에 모델을 최적화하는 데 3개월이 걸린다고 치면, 이 과정에서 엔비디아가 자랑하던 소프트웨어적 우위인 CUDA의 중요성이 예전만 못하게 될 수도 있습니다.

​

젠슨 황이 뒤처지는 것을 그토록 경계하는 이유가 바로 여기에 있습니다.

게다가 솔직히 말해서, 재능 있는 반도체 엔지니어를 시장규모가 커지는 만큼 한 기업에서 충분히 채용하는 것 자체가 정말이지 어려운 일이거든요. 시장 전체를 둘러봐도 모델의 성능 저하 없이 정확하게 구동할 수 있는 칩 아키텍처와 소프트웨어를 성공적으로 만들어낸 회사는 극소수에 불과합니다.

​

알리바바의 Qwen 모델 같은 API들을 살펴보면, 많은 사람들이 quantization를 비롯해 온갖 기술적 꼼수를 동원하고 있다는 걸 알 수 있습니다. 하지만 결국 이런 방식은 모델의 품질 저하로 이어지죠. 엄청난 규모의 칩을 네트워크로 연결해 거대한 랙 규모의 솔루션을 구축하고, 이를 API로 배포하는 과정은 결코 만만치 않습니다.

​

그런데 Groq는 놀랍게도 그리 많지 않은 인원으로 그 모든 것을 해냈습니다. 그러니 엔비디아 입장에서는 이렇게 생각할 겁니다. "좋아, 내가 엔비디아라면 4개의 각기 다른 칩 아키텍처와 4개의 맞춤형 솔루션을 만들겠어. 하나는 범용으로 두고, 나머지는 각각 다른 특정 목적을 위해서 말이야." 게다가 엔비디아의 범용 제품은 단순히 GPU 칩 하나로 끝나는 게 아닙니다. GPU, CPU, 네트워킹 칩, NVSwitch, NIC 등 수많은 칩들의 결합체죠.

​

그리고 그 각각의 칩 안에는 또 수많은 칩렛들이 들어갑니다. 이걸 전부 내부 인력으로만 감당하기엔 엔지니어링 리소스가 턱없이 부족합니다.

결국 엔비디아가 타사를 인수하려는 움직임은, 시장의 다양한 니즈에 맞춘 여러 솔루션을 개발하는 데 필요한 핵심 인재와 리소스를 확보하기 위한 전략인 셈입니다.

​

그래서 결론적으로 엔비디아가 위협을 받고 있느냐고요? 제 생각엔 당연히 위협이 존재합니다. Etched, MatX, Positron 같은 새로운 세대의 AI 칩 스타트업들이 현재 엄청난 투자금을 쓸어 모으고 있습니다. Cerebras나 Tenstorrent 같은 이전 세대의 스타트업들도 여전히 건재하고요. 이렇게 스타트업 진영에도 수많은 AI 칩 회사가 포진해 있지만, 구글 TPU, AMD GPU, 아마존 Trainium 같은 거대 테크 기업들의 자체 칩 역시 결코 무시할 수 없는 매우 강력한 경쟁자들입니다. 그리고 메타의 MTIA 칩도 어느 정도 위협적인 경쟁 상대입니다. 마이크로소프트의 Maia는 아직 그 정도 수준은 아니지만, 뭐 언젠가는 그렇게 될 수도 있겠죠? 그러니까 엔비디아 입장에서는 이 수많은 경쟁자들을 상대로 필사적으로 방어선을 구축해야만 하는 상황인 겁니다.

​

그래서 엔비디아에게 실질적인 위험 요소가 있냐고요? 앞서 말씀드린 모든 회사들이 사실상 다 위협이 됩니다. 재밌는 건 이 무서운 경쟁자들이 사실상 캘리포니아와 시애틀, 딱 이 두 지역에 다 몰려 있다는 거죠. 물론 다른 지역에서 개발되는 칩들도 있습니다. 다들 아시다시피 중국에도 꽤 멋진 성과를 내고 있는 다양한 AI 칩 회사들이 여럿 포진해 있으니까요.

​

Groq의 인수를 떠올려 볼까요? 아시는 분들은 아시겠지만, 그들의 사업 매출이나 실적이 그다지 눈부신 편은 아니었습니다. 사실 작년에는 매출 목표를 크게 밑돌았죠. 그런데도 결국 훌륭하게 인수가 되었습니다. 왜일까요? 바로 그들이 가진 IP의 가치와 팀 자체의 잠재력이 엄청났기 때문입니다. 겉보기 실적만 따지는 사람들이었다면 "도대체 내가 이걸 왜 사야 해? 전혀 말이 안 되잖아"라고 생각했을 텐데 말이죠. 결론적으로, 현재 AI 칩 시장에는 엔비디아를 향한 확실하고도 실질적인 위협이 분명히 존재하고 있습니다.

AI 반도체 춘추전국시대

과연 CUDA의 해자는 끝났을까?

​

맷 터크 : 네, 그렇다면 CUDA가 앞으로도 계속해서 엔비디아를 지켜주는 강력한 해자 역할을 할 거라고 보시나요? 제 생각에는 CUDA라는 독보적인 소프트웨어 생태계, 그리고 과거 Mellanox 인수를 통해 확보한 네트워킹 기술들의 결합이 바로 그 핵심 경쟁력인 것 같은데요. 과연 이러한 요소들이 앞으로도 오랫동안 흔들림 없는 지속 가능한 경쟁 우위로 살아남을 수 있을까요?

​

딜런 파텔 Dylan Patel : 네, 저는 CUDA가 계속해서 해자 역할을 할 것이라 생각합니다. 네트워킹은 두말할 것 없이 엄청나게 중요하죠. CUDA라는 소프트웨어 해자 역시 매우 중요하지만, 동시에 아주 빠르게 그 형태가 변하고 있습니다. 엔비디아 GPU에서 돌아가는 엄청난 양의 소프트웨어들이 사실 엔비디아에서 직접 만든 게 아닙니다.

오픈소스로 개발하는 외부 개발자 생태계에서 나온 것들이죠.

​

예를 들어 vLLM이나 SGLang 같은 추론 엔진을 볼까요? 이젠 이 엔진들이 AMD의 GPU도 거의 기본값처럼 완벽하게 지원합니다. 게다가 vLLM은 구글의 TPU나 아마존의 Trainium에 대한 지원도 대폭 늘리고 있고, 앞으로 스타트업들이 내놓을 새로운 칩들도 전부 이 오픈소스 엔진들을 지원하게 될 겁니다.

​

과거에 CUDA가 그토록 중요했던 이유는 "GPU를 직접 프로그래밍해서 내가 원하는 건 뭐든 할 수 있다"는 점 때문이었습니다. 하지만 앞으로 대부분의 AI 칩은 사람들이 직접 코딩해서 쓰는 방식이 아닐 겁니다. 그저 오픈소스 추론 엔진(vLLM 등)과 모델을 다운로드해서 서버에 올리면 끝이죠. vLLM을 다운로드해서 실행하는 건 정말 간단하거든요. 엔비디아 역시 이 사실을 알기 때문에 Triton 추론 서버나 Dynamo 같은 오픈소스 소프트웨어를 많이 배포해서 이 과정을 더 쉽게 만들고 있습니다. 대다수 AI의 소비 방식이 결국 그런 형태가 될 테니까요. 연구자들이 새로운 아이디어를 테스트하려고 GPU용 코드를 직접 하드코어하게 짜는 시대가 아닙니다.

​

그러니 전통적인 의미의 CUDA 언어 자체는 더 이상 철옹성이 아닙니다. 사실 요즘 누가 CUDA 커널을 직접 짜나요? 대부분 PyTorch로 코드를 짜고 컴파일해서 GPU에 돌립니다.

CUDA를 직접 다룰 줄 아는 사람은 극소수지만, 파이토치를 쓸 줄 아는 사람은 수많은 박사들과 일반 개발자들까지 엄청나게 많습니다. 게다가 vLLM을 다운로드해서 서버에 돌릴 수 있는 사람은 그야말로 널려 있습니다. 자, 그런데 이 vLLM이 이제 엔비디아뿐만 아니라 다른 회사의 칩들까지 다 지원한다면, CUDA의 해자는 어디에 남게 되는 걸까요?

​

엔비디아도 이 점을 정확히 꿰뚫어 보고 있습니다. 그래서 전통적인 CUDA가 아닌, 전혀 새로운 방식의 소프트웨어 해자를 구축하고 있습니다. 이 바닥의 핵심 게임은 결국 "누가 가장 저렴한 비용으로 가장 빠르게 토큰을 뽑아내느냐"입니다. 칩 자체가 빠른 하드웨어 최적화도 중요하지만, 소프트웨어 최적화도 필수적입니다.

​

Claude Code나 Cursor 같은 AI 코딩 앱을 생각해 보세요. 코딩 에이전트는 사용자의 거대한 코드 저장소 전체를 읽어 들이고(컨텍스트), 코드를 짜고, 이리저리 컨텍스트를 쉴 새 없이 전환합니다. 그런데 모델이 토큰을 생성하면서 수만~수십만 단위의 거대한 컨텍스트를 계속 바꾼다면 어떻게 될까요? 추론 비용에서 decode 비용보다, 새로운 컨텍스트를 읽어 들이는 prefill 비용에 엄청난 돈을 쏟아붓게 됩니다.

​

그래서 사람들은 생각했습니다. "아니, 왜 매번 KV cache(prefill data)를 비싸게 새로 생성해야 하지?

그냥 어딘가에 저장해 뒀다가 필요할 때 쏙 빼서 메모리에 올리면 안 되나?" 여기가 바로 엔비디아가 들어온 지점입니다. 엔비디아는 KV cache manager라는 걸 만들어서, SSD에 KV cache를 저장해 두고 원할 때마다 불러올 수 있도록 개발해 왔습니다. 이걸 사용하면 prefill을 매번 새로 할 필요가 없어져서 비용이 극적으로 떨어집니다.

​

앤스로픽, 구글, 오픈AI 같은 거인들은 자체 기술로 이걸 해냈지만, 나머지 일반 기업들에게는 너무 복잡한 기술입니다. 엔비디아는 바로 이들을 위한 오픈소스 소프트웨어를 제공하는 겁니다. 메모리 관리, 스토리지 분산, 네트워크 혼잡 제어 등... 이건 엄밀히 말해 전통적인 CUDA 기술은 아니지만, 결국 엔비디아가 가장 잘하는 주특기이자 새로운 시대의 CUDA 해자가 되는 셈입니다.

​

​

딜런 파텔 Dylan Patel : 올해 중반쯤 되면 AMD나 TPU 등도 모두 훌륭한 추론 환경을 갖추게 될 겁니다. 저희 팀이 운영하는 오픈소스 벤치마크 테스트 결과만 봐도, 매일 $60M 규모의 다양한 칩 위에서 추론 엔진을 돌려보는데 소프트웨어가 하도 자주 바뀌어서 성능 1위 자리가 매일같이 요동칩니다.

​

결국 진정한 해자는 이겁니다. 칩 자체의 성능 차이가 아니라, "새로운 최신 모델이 나왔을 때, 그 모델이 이 칩에서 최고 성능을 내도록 얼마나 빨리, 쉽게 지원해 줄 수 있는가?"라는 민첩성 말입니다.

KV cache 관리 같은 고도화된 기능을 구현하는 데 구글처럼 100명의 최고급 엔지니어가 달라붙어야 한다면 힘들겠지만, 엔비디아 생태계 안에서 단 한두 명의 엔지니어만으로 쉽게 해낼 수 있다면, 그것이 바로 그 누구도 쉽게 넘볼 수 없는 엔비디아의 진짜 해자가 되는 것입니다.

​

맷 터크 : AMD는 따라잡을 수 있을까요?

​

딜런 파텔 Dylan Patel : 제 생각에 AMD는 엔비디아를 어느 순간에는 따라잡기도 하고, 또 어떤 때에는 크게 뒤처지기도 할 것입니다. 예를 들어 현재 상황을 보면 AMD가 정말 많이 뒤처져 있는데, 블랙웰이 AMD MI355보다 훨씬 뛰어나기 때문입니다. 게다가 앞으로 엔비디아의 차세대 칩인 루빈이 출시되면 AMD는 지금보다 훨씬 더 까마득하게 뒤처지게 될 겁니다.

​

하지만 그 이후에 AMD에서 새로운 칩을 출시하면 다시 격차를 좁히거나, 적어도 하드웨어 측면에서는 심지어 약간 앞설 수도 있을 것입니다. 물론 소프트웨어 측면에서는 여전히 뒤처져 있겠지만요. 이렇게 두 기업이 서로 엎치락뒤치락하는 상황 속에서 AMD는 매우 훌륭하고 신뢰할 수 있는 2위 경쟁사로서의 입지를 다지고 있습니다. 다만 제 생각에 AMD가 1위 자리를 넘어서지는 못하고 계속 지금의 위치에 머물 것 같습니다.

​

맷 터크 : 아까 몇몇 기업을 언급해 주셨는데, 그렇다면 수많은 스타트업들의 상황은 어떨까요?

업계의 한편에는 세레브라스 같은 기업이 자리 잡고 있고, 다른 한편에는 더 새로운 신생 기업들도 등장하고 있습니다. 거대 기업인 AMD조차 앞으로 힘겨운 싸움을 벌여야 하는 상황에서, 과연 이런 스타트업들이 유의미한 시장 점유율을 차지할 수 있을 거라고 보시나요?

​

딜런 파텔 Dylan Patel : 결국 이는 일종의 전문화, 즉 차별화 게임이라고 할 수 있습니다. 엔비디아가 이미 장악한 영역에서 똑같은 방식으로 경쟁해서는 절대 그들을 이길 수 없기 때문에, 스타트업들은 반드시 자신만의 전문 분야를 파고들어야만 합니다. 엔비디아는 이미 막강한 공급망을 확보하고 있고, 최신 메모리 기술이든 공정이나 패키징 기술이든 간에 경쟁사들보다 훨씬 빠르게 선점하여 상대를 압도해버릴 것이기 때문이죠.

​

따라서 엔비디아와 똑같은 방식으로 게임을 한다면 필패할 수밖에 없습니다. 물론 AMD는 엔비디아의 방식대로 경쟁하려 하고 있지만, 그들은 칩 설계 엔지니어링 능력이 이미 세계 최고 수준이니까 가능한 이야기입니다. 하지만 그 외의 다른 모든 기업들은 반드시 독특하고 색다른 방식을 시도해야만 합니다.

​

​

그래서 Etched, MatX, Positron, Cerebras, Tenstorrent 같은 스타트업들을 살펴보면, 각자가 추진하는 고유한 기술적 특징들이 있습니다. 하지만 문제는 이들의 칩이 실제로 출시될 시점에도 AI 모델들이 여전히 그 기술적 틀 안에 머물러 있을지가 불분명하다는 것입니다.

예를 들어, 사람들이 갑자기 Engram이나 다른 형태의 sparse attention 기법을 사용하게 된다면 어떨까요? 혹은 AI 모델 자체가 dense model에서 sparse model로 전환된다면, 이러한 특정 기술에 맞춘 전문화 전략이 무의미해져 버릴 수도 있습니다.

​

이처럼 AI 모델 측면에서는 너무나도 많은 최적화와 변화가 일어나고 있어서, 머신러닝 연구가 앞으로 어떻게 흘러갈지 쉽게 예측할 수가 없습니다. 적어도 현재 최적화하고 있는 하드웨어는 2년 후 AI의 미래 모습과 맞아떨어져야만 의미가 있는데, 흥미롭게도 엔비디아조차 자신들이 그 미래를 정확히 알 수 없다는 사실을 완전히 인정하고 있습니다. 그렇기 때문에 그들이 이제 단순히 Ampere → Hopper → Blackwell → Rubin으로 이어지는 단일 GPU 라인업에만 의존하지 않고 다양한 칩 포트폴리오를 구축하고 있는 것입니다. 다양한 시장과 여러 가지 가능한 시나리오에 대비하기 위해 여러 종류의 칩을 준비하는 것이죠.

​

​

현재는 각 칩 라인업마다 나름의 비전이 있다고 생각하겠지만, 막상 시간이 지나고 보니 범용 칩은 별로고 AI 모델이 CPX나 Groq 스타일의 칩에 가장 잘 맞게 발전했다고 가정해 봅시다. 그러면 엔비디아는 빠르게 ASIC을 개발하거나 인수하여, "좋아, 우리는 그 시장을 위한 솔루션도 이미 가지고 있어"라고 대처할 수 있습니다.

​

저는 바로 이 지점이 스타트업들이 직면한 가장 큰 도전 과제라고 생각합니다. 그럼에도 불구하고, 저는 이 스타트업들이 매우 흥미로운 베팅을 하고 있다고 봅니다. 칩에 메모리를 통합하는 방식을 택했던 Graphcore를 비롯한 1세대 AI 하드웨어 기업들의 베팅보다 지금이 훨씬 더 흥미진진합니다. 과거 1세대 기업들은 단순히 특정 종류의 모델들에만 최적화하는 베팅을 했고, 결국 오랫동안 성과를 내지 못했습니다. 방향을 전환하고 여러 가지 문제를 해결하는 데 너무나도 긴 시간이 걸렸죠.

​

반면, Etched, MatX, Positron 같은 새로운 시대의 스타트업들은 미래의 AI 모델이 어떤 형태일지에 대해 아주 명확한 비전을 가지고 있는 것 같습니다. 저는 이 점이 정말 멋지다고 생각하고, 이들의 행보가 무척 기대됩니다. 물론, 동시에 아주 깊은 회의감도 가지고 있습니다. VC들이 이들의 성공 확률을 어느 정도로 평가할지는 모르겠지만, 제 개인적으로는 이들 모두의 성공 확률이 1% 미만이라고 생각합니다. 하지만 뭐, 벤처 투자라는 게 원래 다 그런 것 아니겠습니까.

​

*코멘트 → 엔비디아는 AI Labs들과 일선에서 개발자들끼리 협력하면서 앞으로 어떤 아키텍처가 많이 쓰이고, 어떤 기술이 많이 쓰일지에 대해서 알 수 있지만, AI 스타트업은 엔비디아를 이기려면 엔비디아가 최적화하지 못한 워크로드에 최적화한 칩을 개발해야 하는 상태인데, 칩 개발에는 2~3년이 걸리니 어떤 아키텍처가 2~3년 후 메인이 될지 모르는 상태에서 다트판에 다트를 던져 맞추는 것에 가까워지기에 회의감을 표현한 것입니다.

​

맷 터크 : 그러나 하나의 인프라에 다양한 칩을 사용하는 환경이 되면 승산이 있진 않을까요?

​

딜런 파텔 Dylan Patel : 그럴 수도 있죠. 멀티 실리콘 환경이 될 수도 있고, 아니면 고객마다 특별히 집중하는 특정 워크로드가 따로 있을 수도 있습니다. 앤스로픽 같은 경우 비디오나 이미지 생성에는 전혀 관심이 없잖아요. 아예 신경도 안 쓰죠. 반면에 Midjourney 같은 회사는 이미지와 비디오 생성에 사활을 겁니다. 앞서 말씀드렸듯이 이미지나 비디오 생성은 메모리 대역폭을 크게 요구하지 않는 대신 컴퓨팅을 엄청나게 필요로 합니다. 반면, 코딩 에이전트 같은 LLM의 추론 작업은 오랜 시간에 걸친 decode 과정이 매우 중요하고, 이는 메모리 대역폭을 엄청나게 잡아먹습니다.

​

이건 아주 간단한 예시일 뿐이고, 실제로는 훨씬 더 복잡한 뉘앙스들이 숨어 있습니다. matrix multiply의 크기라든가, Tensor core 및 systolic array의 사용 방식, 네트워킹과 메모리의 비율, 메모리 계층 구조를 어떻게 짤 것인지, 심지어 다양한 종류의 attention 기법을 어떻게 처리할 것인지 등 고려해야 할 게 너무 많죠.

​

이처럼 이 분야에는 전문화할 수 있는 영역이 무궁무진합니다. 그래서 어떤 사람들은 각기 다른 형태의 전문화에 큰돈을 베팅하고 있는 것이고, 결국 회사마다 중요하게 생각하는 포인트가 완전히 다른 세상이 올 거라는 건 불 보듯 뻔한 일입니다.

​

예를 들어, 당장 오늘 비디오 및 이미지 생성에 최적화된 칩이 나왔는데 그게 엔비디아 제품보다 뛰어나거나 혹은 엔비디아가 직접 그런 칩을 만들었다면, 미드저니는 추론 작업에 무조건 그 칩만 쓸 겁니다. 물론 훈련 단계에서는 여전히 범용 칩을 사용하겠지만요.

​

메타나 구글도 마찬가지로 그렇게 할 테고, 당연히 그래야 맞습니다. 사실 메타는 이미 MTIA라는 두 가지 AI 칩 라인업을 가지고 있습니다. 하나는 추천 시스템에 집중하는 라인이고, 다른 하나는 생성형 AI에 집중하는 라인이죠. 생성형 AI 칩은 새로운 라인이지만 추천 시스템 칩 라인도 여전히 계속 개발되고 있습니다. 화려해 보이지 않아서 다들 별 관심이 없긴 하죠.

​

바이트댄스 역시 추천 시스템 칩 라인을 따로 가지고 있고 굳이 생성형AI에 집중하지 않는데, 사실 그래도 완벽하게 괜찮습니다. 나에게 어떤 광고를 띄울지, 내 친구들의 스토리를 어떤 순서로 보여줄지 결정하는 이 추천 시스템 자체가 이미 $200B 규모의 거대한 비즈니스니까요.

​

결론적으로, 타겟 시장만 충분히 크다면 특정 분야에 특화된 AI 칩이 존재하는 것은 지극히 타당한 일입니다. 다만 그 타겟 시장이 어디인지 꿰뚫어 볼 수 있는 비전이 있어야겠죠. 물론 본인이 하이퍼스케일러라면 이야기가 다릅니다. 이들은 시장 트렌드가 확실해질 때까지 그냥 범용 칩을 쓰다가, 확실한 타이밍이 왔다 싶을 때 자체 ASIC을 만들어버리면 그만이거든요.

엔비디아 vs 화웨이

중국의 반도체 굴기와 $50B 규모의 Chips Act

​

맷 터크 : 이제 이 모든 이슈의 지정학적 측면으로 화제를 돌려볼까 하는데, 이 부분은 항상 흥미진진하죠. 작년 중국 시장 상황을 보면, 엔비디아의 전체 매출에서 중국이 차지하는 비중이 대략 10%에서 12% 정도였습니다. 그런데 올해 들어서 엔비디아 측 이야기를 들어보면, 중국 시장 점유율이 사실상 보잘것없는 수준으로 뚝 떨어졌다고 하더라고요. 이게 대체 화웨이의 자체 칩 때문인 걸까요? 아니면 미국의 수출 규제 때문일까요? 그것도 아니면 관세 문제일까요? 도대체 중국 시장에서 무슨 일이 벌어지고 있는 건가요?

​

딜런 파텔 Dylan Patel : 사실 이 문제는 정말 다양한 요인들이 얽혀 있습니다. 작년 어떤 분기에는 엔비디아 매출에서 중국 비중이 20%를 넘었던 걸로 기억하는데, 2022년을 돌아보면 중국은 서버 하드웨어 구매 규모 면에서 미국과 거의 맞먹는 수준이었습니다. 1~2년 뒤면 미국과 완전히 똑같은 규모가 될 것처럼 보였죠. 전 세계 데이터센터나 클라우드 인프라를 보면 결국 미국 기업들과 중국 기업들이 양분하여 지배하고 있는 구조니까요.

​

어떤 산업을 보더라도 중국이 기술을 내재화하고 싶어 한다는 건 아주 명확합니다. 2015년에 그들은 2020년과 2025년을 목표로 하는 5개년 계획을 세워 반도체 자급률 목표치를 설정했습니다.

결과적으로 두 번 다 목표 달성에는 실패했지만, 그건 괜찮습니다. 아주 공격적인 목표를 세웠고, '달을 향해 쏘면 빗나가더라도 별에 닿는다'는 말처럼 엄청난 성과를 이뤄냈으니까요.

​

현재 중국이 최첨단 반도체 기술을 완벽히 따라잡은 건 아니지만, MCU나 전력 칩 같은 분야에서는 텍사스 인스트루먼트나 ST마이크로 같은 글로벌 기업 제품만큼 성능이 좋으면서도 가격은 훨씬 저렴한 제품들을 만들어내고 있습니다. 중국은 이미 막강한 반도체 산업을 구축했고 자급률을 크게 끌어올렸죠.

​

원래대로라면 전 세계 AI 칩의 30~40%는 중국이, 50~60%는 미국(미국계 기업)이 가져가는 게 가장 자연스러운 시장 논리일 겁니다. 하지만 지금은 수출 규제가 존재하죠. AI는 인류 역사상 지식 노동과 관련해 일어나는 가장 거대한 변화이고, 결국 로봇 공학 등 모든 분야로 뻗어나갈 핵심 기술이기에 필연적으로 지정학적인 문제가 개입될 수밖에 없습니다. 그 결과 엔비디아는 중국에 최고 성능의 칩을 파는 데 족쇄가 채워졌고, 이는 당연히 매출에 큰 타격을 입혔습니다.

​

​

딜런 파텔 Dylan Patel : 재밌는 건, 전 세계에서 GPU를 가장 많이 대여하는 상위 3개 기업 중 하나가 오픈AI인데, 사실 최근 오픈AI가 역전하기 전까지 그들보다 칩을 더 많이 빌려 썼던 회사가 바로 바이트댄스라는 겁니다. 바이트댄스는 틱톡 하나를 서비스하기 위해 오라클, 구글 등 수많은 클라우드 기업으로부터 엄청난 양의 칩을 빌려 쓰고 있습니다.

규제 때문에 중국 내에서는 칩을 살 수 없으니, 차선책으로 렌탈을 선택한 것이죠.

​

그로 인해 AI 인프라는 중국이 아닌 말레이시아 같은 곳에 구축되고 있습니다. 오라클이 말레이시아에 1GW가 넘는 용량의 데이터센터를 짓고 있는데, 이걸 바이트댄스가 다 쓸 예정이거든요. 원래대로라면 중국으로 향했을 수백만 개의 칩과 수백억 달러 규모의 투자가 말레이시아로 빠져나가고 있는 셈입니다.

​

또 하나 짚고 넘어가야 할 점은 중국의 독특한 사회적 분위기입니다. 많은 사람들이 중국 5개년 계획 정책이 철저히 위에서 아래로 찍어 누르는 top-down 방식일 거라 생각하지만, 실제로 보면 꼭 그렇지만은 않습니다. 온 국민이 열광적으로 몰입하는 분위기, 이른바 국가 전체가 '반도체 뽕(semiconductor pilled)'에 취해있다고 할까요? 반도체 팹에서 일하는 남녀가 사랑에 빠지거나, 태양광 패널 연구원들이 주인공인 로맨스 드라마가 방영될 정도입니다. 인플루언서보다 반도체 엔지니어나 태양전지 연구원인 애인이 있는 걸 훨씬 더 멋지게 여기는 사회적 배경이 깔려 있는 거죠. 반도체 로맨스 코미디라니... 솔직히 서구권은 진짜 망한 것 같습니다. (웃음) 농담이 아니라 정말 우린 끝났어요. 이런 첨단 산업이 일상적인 드라마 소재로까지 널리 퍼졌다는 건 정말 놀라운 일입니다.

​

​

딜런 파텔 Dylan Patel : 어쨌든, 현재 중국에서는 각 성(province)과 지방 도시들이 앞다투어 조례를 만들고 보조금을 뿌리며 난리를 치고 있습니다.

정말 미친 수준이에요. 중앙 정부가 세금 감면이나 일부 품목 금지 조치를 취하긴 하지만, 제가 알기로 중앙 정부 차원에서 엔비디아의 H20이나 H200 칩을 직접 금지한 적은 없습니다. 그런데 지방 정부들이 알아서 "우리 지역에서는 무조건 중국산 칩만 써야 한다"며 금지하고 나선 겁니다. 각 지방 도시들이 다양한 보조금과 산업 단지 조성을 내세워 기업들을 유치하려 경쟁하고, 여기서 살아남아 산업을 발전시킨 곳이 시장을 장악하는 적자생존의 생태계가 만들어졌습니다. 지방 정부가 구매 권한을 가지고 경쟁한다는 점에서 오히려 미국의 연방-주 정부 시스템과 비슷해 보이기까지 합니다.

​

소셜 미디어를 보면 "중국에서 물건을 사고 싶다면 무조건 딱 맞는 전문 도시에 가라"면서 노래를 부르는 영상이 있습니다. 전등갓, 마이크 암, 심지어 기타 등 뜬금없는 품목을 말하고 특정 도시를 언급하는데, 찾아보면 진짜로 그 도시 하나에 해당 품목의 전체 공급망이 다 몰려 있습니다. '세계의 기타 수도'가 된 도시가 있을 정도니까요. 카메라 암을 예로 들면, 그 안에 들어가는 볼 베어링만 전문으로 만드는 공장들이 한 도시에 몰려 있고, 전 세계 카메라 암의 대부분이 그곳에서 나옵니다. 도대체 무슨 일이 벌어지고 있는 걸까요? 질문에 대한 직접적인 답변에서 조금 벗어난 넋두리 같지만, 사람들이 중국의 반도체 산업, 아니 반도체 산업 자체의 기형적일 정도로 극단적인 전문화를 잘 이해하지 못하는 것 같아서 드리는 말씀입니다.

​

예를 들어 일본은 특정 화학 물질에 미친 듯이 파고들어 세계 최고가 되곤 하죠. 이건 초정밀함을 추구하는 일본 특유의 장인 정신과 문화에서 비롯됩니다. 일본 셰프들이 프랑스에 가서 요리를 배워와 완벽하게 다듬은 덕분에, 일본의 프랑스 요리가 현지보다 낫다는 말이 있을 정도니까요. 반도체 산업도 마찬가지입니다. 네덜란드가 EUV 노광 장비를 독점하고 있는 것처럼, 전 세계 곳곳에 이런 특화된 지점들이 존재합니다.

​

'나는 연필입니다(I, Pencil)'라는 유명한 경제학 에세이가 있죠. 평범한 연필 한 자루를 만들기 위해 인도네시아의 고무, 특정 광산의 흑연, 캐나다의 나무 등 전 세계의 공급망이 하나로 집약되어야 한다는 내용입니다.

​

그런데 반도체 산업은 이보다 훨씬 더 미쳤습니다. 전 세계 반도체 산업을 당장 멈춰 세울 수 있는 힘을 가진 국가가 15~20개국은 될 겁니다. 심지어 오스트리아조차도 그럴 힘이 있습니다. 그곳에 있는 연매출 $1B도 안 되는 무명 회사 두 곳이 특정 핵심 부품 시장의 90%를 쥐고 있기 때문이죠. 반도체 공정이 워낙 복잡하다 보니 이런 핵심적인 린치핀 기술들이 세계 곳곳에 흩어져 있는 겁니다. 그리고 지금 중국은 이 어마어마하고 복잡한 글로벌 공급망 생태계 전체를 자국 내에 고스란히 복제하려고 시도하고 있습니다.

​

맷 터크 : 중국이 아직 갖지 못한 것들이 있을까요?

​

딜런 파텔 Dylan Patel : 제 생각에 여기에는 많은 요인이 얽혀 있습니다. 만약 눈을 감고 세계화가 완전히 끝난 단절된 세상을 상상해 본다면, 오늘날 반도체 분야에서 가장 완벽한 수직 계열화 구조를 갖춘 곳은 단연 중국일 것이며, 그들은 세계 최고 수준의 자생력을 갖추고 있습니다.

​

특정 화학 물질을 일본에 100% 의존하는 TSMC나, 특정 장비를 네덜란드나 미국, 오스트리아의 단일 기업에 전적으로 의존하는 인텔의 상황과는 다릅니다. 중국은 수많은 화학 물질과 부품 공급망을 자체적으로 구축해 놓았기 때문에, 외부 공급이 끊겨도 팹을 어느 정도 돌릴 수 있기 때문이죠.

​

이 모든 것은 중국이 'Made in China' 이니셔티브를 통해 막대한 자본을 쏟아부었고, 지방 도시들이 앞다투어 특정 산업에 집중하는 문화가 형성되었기에 가능했습니다. 마치 미국에서 인도계 파텔(Patel) 성을 가진 사람들이 우연한 계기로 모텔 사업을 시작했다가 그것이 거대한 트렌드로 자리 잡은 것처럼, 중국의 여러 도시들도 우연과 집중이 겹치며 거대한 산업의 전문화를 이루어내고 있습니다.

​

물론 중국의 기술력에도 아직 부족한 점은 많습니다. 하지만 현재 최고 수준에서 10년 뒤처진 기술을 기준으로 본다면, 전 세계에서 완벽하게 자체 공급망을 갖춘 나라는 중국뿐입니다. 대만조차도 외부 공급이 끊기면 팹 가동이 멈출 테니까요.

심지어 20년 전 기술 기준으로 타협한다면 중국은 100% 완벽한 수직 계열화 공급망을 가동할 수 있습니다. 미국조차도 40년 전 기술이라 할지라도 외부의 도움 없이는 완전한 자체 팹을 구축할 수 없다는 점을 생각하면 정말 흥미로운 대목이죠.

​

하지만 반대로 생각해 보면, 최고 수준의 혁신을 위해서는 결국 극단적인 전문화가 필수적이라는 한계도 존재합니다. 수많은 천재적인 인재들이 특정 문화권과 공급망 생태계 속에 모여야만 가장 순도 높은 화학 물질이나 완벽한 장비를 만들어낼 수 있으니까요. 현재 중국은 노광(lithography) 장비 기술에서 약 10년 정도 뒤처져 있습니다. 빠르게 추격 중이긴 하지만, ASML 수준을 따라잡거나 미국 및 일본 기업들처럼 최첨단 화학 물질과 장비를 만들어내기까지는 꽤 오랜 시간이 걸릴 것입니다. 제조나 설계 분야의 최전선에 있지는 않지만, 1~2년 정도 뒤처진 기술을 훨씬 저렴하게 만드는 수준에는 도달했고, 사실 많은 산업에서는 그 정도면 충분하기도 합니다.

​

그 강력한 잠재력을 보여주는 대표적인 예가 바로 화웨이(Huawei)입니다. 과거 화웨이의 스마트폰은 애플과 완전히 동급이었고, 한때 애플을 제치고 TSMC의 최대 고객이 되기도 했습니다. 통신 분야에서는 기술력 자체가 압도적이라 노키아나 에릭슨 같은 기업들을 완전히 무너뜨렸고, 심지어 폴더블폰 시장에서도 삼성보다 더 뛰어난 폼팩터를 만들어냈을 만큼 무서운 저력을 보여주었습니다.

현재 AI 공급망에서 중국이 세계 최고를 가진 건 많지 않을지라도, 그들은 약간 뒤처졌지만 수직계열화를 무기로 어떻게든 단가를 낮추고 파이를 키우며 강력한 산업 생태계를 구축해 나갈 것입니다.

​

*코멘트 → 화웨이에 대해서는 <AI 사이클 한 눈에 보기, SemiAnalysis 인터뷰 : 승부사 엔비디아 젠슨황 그리고 화웨이의 역습> 자료를 참고하시면 도움이 되실 것 같습니다.

​

이것이 바로 엔비디아의 젠슨 황 CEO가 경쟁사인 AMD보다 오히려 화웨이를 두려워하는 이유입니다. 물론 그가 특유의 편집증적인 성향을 가지고 있어서 AMD나 구글 TPU의 움직임에 예민하게 반응하는 것도 사실입니다. 최근 엔비디아가 코어위브(CoreWeave)에 20억 달러를 투자하며 데이터센터 부지와 전력망 구축의 든든한 뒷배를 자처한 것도, 구글이 다른 인프라 기업들과 맺은 파트너십에 대한 직접적인 견제구였으니까요. 하지만 엔비디아가 진정으로 경계하는 것은 전 세계에서 가장 고도로 수직 계열화된 기업인 화웨이입니다. 이 거대한 수직 계열화가 결국 엄청난 혁신과 시장 파괴력으로 이어진다는 사실을 누구보다 잘 알고 있기 때문입니다.

​

맷 터크 : 미국에 있는 우리로서는 잘 와닿지 않는 이야기일 수도 있습니다. 하지만 막상 유럽 같은 곳을 여행해 보면, 사람들이 Honor 스마트폰을 정말 많이 쓰고 있는 걸 쉽게 볼 수 있잖아요.

그만큼 스마트폰 시장에서 화웨이가 차지하는 입지와 영향력이 우리가 미처 생각하는 것 이상으로 어마어마하다는 방증입니다.

​

딜런 파텔 Dylan Patel : 스마트폰뿐만이 아닙니다. 보안 카메라 같은 분야만 보더라도 사실상 엄청난 장악력을 쥐고 있거든요. 저는 화웨이가 정말 무서운 기업이라고 생각합니다. 그러나, 당장 현재로서는 그들의 칩 성능이 최고 수준에 미치지 못하는 게 맞습니다.

​

맷 터크 : 물론 미국과 중국이 세계에서 가장 거대한 두 시장인 건 분명하지만, 아랍에미리트, 중동, 유럽 같은 제3의 시장들은 어떤지 궁금하네요. 그곳에서는 이미 엔비디아와 화웨이가 정면승부를 벌이며 맞붙고 있는 상황인가요?

​

딜런 파텔 Dylan Patel : 음, 화웨이가 해외로 물량을 조금 출하하긴 했지만, 사실상 그건 그냥 명목상의 스티커 용량(보여주기식)에 불과합니다. 아니, 정말이에요. 몇몇 서버에 들어가는 아주 소량일 뿐이지, $1B어치씩 팔리고 그런 규모가 전혀 아닙니다.

​

문제는 중국 내 공급망이 아직 충분히 생산량을 끌어올리지 못했다는 데 있습니다. 물론 중국의 명시적인 목표는 모든 것을 내재화하는 것이죠. 하지만 알리바바 같은 기업 입장에서 생각해 보세요. "난 화웨이 칩 쓰기 싫은데? 그냥 엔비디아 칩 써서 세계 최고로 끝내주는 모델을 만들고 싶어!"라고 생각할 겁니다.

그게 그들의 비즈니스니까요. 억지로 화웨이 제품을 쓰는 게 그들의 본업은 아니잖아요.

​

중국은 컴퓨팅을 필요로 한다

엔비디아와 화웨이의 성능 격차는 (ㄱ) 두 기업의 설계 격차도 일부 있지만, (ㄴ) TSMC 대신 SMIC를 쓰는 것, (ㄷ) 메모리 Top 3 대신 CXMT를 쓰는 것 등에서 모두 발생합니다. 그래서 칩당 처리 성능(TPP)으로만 보자면 엔비디아가 2024년에 출시한 H200 칩당 성능에 화웨이가 도달하는 시점은 대략 2028년입니다. 엔비다아는 혁신의 속도를 멈추지 않기에 계속해서 성능 격차는 매년 더욱 더 커질 것입니다. TPP 기준 GB300 NVL72는 화웨이 칩보다 ~5배 강력하며, 2H27 VR300 NVL576쯤엔 당시에 출시될 화웨이 Ascend보다 17배 더 강력할 예정입니다.

​

대신, 화웨이는 부족한 칩당 성능을 시스템 단위의 물량 공세로 극복하려는 계획입니다. Scale-up을 키워서 하나의 Pod 자체 규모를 키우려는 것입니다. 이렇게 시스템 단위(VR200 NVL144 대비 Atlas 950 SuperPod, Atlas 950 SuperPod은 8,192개 칩으로 구성)로 묶자면 CY4Q26쯤부터 원하는 FLOPS는 충족시킬 수 있겠지만 TCO 경쟁력은 크게 떨어집니다. MFU도 얼마나 나올지는 의문이고, 중국 내부에서 워낙 저렴한 전력을 공급받고 데이터센터 보조금을 받는다는 전제 하에서의 경쟁력입니다.

정확한 비교라고 보긴 어렵습니다. 그리고 생산량이 제한된 상황에서 물량으로 찍어내겠다는 계획은 돌파구라기보다는 어쩔 수 없는 짜내기에 가까워 보입니다.

​

그리고 Atlas 950 SuperPod 8,192는 컴퓨팅 기준 VR200 NVLR144 랙 4.44개와 같은 수준인데, 바꿔서 말하자면 화웨이가 2026년 1년 동안 생산할 컴퓨팅을 모두 합쳐서 VR200 NVL144 랙 542개가 나오고 Rubin GPU 기준으로는 7.8만 개 정도가 나옵니다. 규모를 비교해보자면, 화웨이가 CY26에 생산할 Ascend 칩 자체가 매우 제한적이라서 이정도면 엔비디아가 1년에 만들 컴퓨팅 규모의 1.2~1.3%정도만 생산할 수 있을 것입니다. cfr도 화웨이가 엔비디아의 컴퓨팅 대비 생산할 물량이 CY26 기준 2.1%~4.1% → CY27 1.1~2.2%일 것으로 전망하고 있습니다. 종합하여 생각하면 중국도 CY26~27까지 모델 훈련용 FLOPS를 충족하기 위해서 충분한 엔비디아 칩을 필요로 할 것입니다.

​

중국 주요 칩 TPP 비교: Huawei, Cambricon, Baidu, Alibaba, MetaX, Biren, Moore Threads

중국 내 AI 칩들의 퍼포먼스가 가장 최근의 칩을 기준으로 어느 정도까지 올라왔는지를 한 눈에 살펴볼 수 있는 차트입니다. 2H26쯤부터는 VR200이 메인인데 그것은 제외한 값이고, 'TCO 대비 퍼포먼스'가 핵심인데 여기서는 TCO에 해당하는 칩 가격은 포함하지 않았습니다.

TCO 대비 퍼포먼스는 기본적으로 엔비디아를 이길 수 없습니다. 보조금을 줘가면서 성장시키는 중일뿐, 중국 밖에서 head-to-head로 맞붙기에 칩 경쟁력이 엔비디아 대비 매우 낮다는 게 핵심입니다.

​

딜런 파텔 Dylan Patel : 그런데 상황이 이렇다 보니 억지로 떠밀리는 상황이 되는 거죠. 다른 여러 기업들도 마찬가지입니다. 사실 중국의 공급망 관련 기업들은 화웨이를 쓰기 싫어하지만, 당연히 암묵적인 압박을 받습니다. 지방 정부에서 "너희 여기서 이만큼 사업하면서, 이 정도는 해줘야지?"라며 억지로 화웨이 칩을 쓰게 만드는 온갖 말도 안 되는 일들이 벌어지고 있죠.

​

가장 큰 난관은 화웨이가 아마도 충분한 물량을 생산해내지 못하고 있다는 점입니다. 저희가 이 부분에 대해 정말 많은 조사를 했고, 이건 사실 국가 안보와 직결된 문제라 고객들에게 파는 대신 무료로 공개해 버렸는데요.

​

화웨이가 도대체 어떻게 첨단 칩을 만들고 있었을까요? 알고 보니 유령 회사들을 세워서 TSMC로부터 칩을 몰래 빼돌리거나, 한국에서 만든 HBM을 대만을 거쳐 중국으로 밀반입하는 등 저희가 보도했던 온갖 기상천외한 우회 수단들을 쓰고 있었습니다. 제재를 가하는 입장에선 완전히 두더지 잡기 게임이죠. 구멍을 막으면 또 다른 데서 튀어나오니까요. 첨단 칩 제조용으로 수출되면 안 되는 장비들이 중국으로 들어가 실제로 최첨단 칩을 만드는 데 쓰이고 있습니다.

중국이 모든 걸 다 자급자족할 수는 없기 때문에 벌어지는 일들입니다.

​

최고 성능의 칩을 만들려면 여전히 메모리, 로직 칩, 팹용 장비 및 화학 물질 등 업스트림 공급망에서 외국 기술에 크게 의존할 수밖에 없거든요. 결국 화웨이는 자국 내에 첨단 메모리나 로직 칩 등을 생산할 캐파가 턱없이 부족해서 내수 시장의 수요조차 감당하지 못하는 실정입니다. 미친듯이 캐파를 늘리려 하고는 있지만, 아직은 시장을 만족시키기에 역부족이죠.

​

이런 상황이기 때문에 엔비디아에게는 여전히 시장 기회가 열려 있습니다​. 그들은 어떻게든 중국에 칩을 팔 방법을 찾아낼 겁니다. 젠슨 황 CEO가 지금 중국에 있거나 어제까지 그곳에 있었던 걸로 아는데, 자신의 칩을 중국에 밀어 넣기 위해 적극적으로 로비와 협상을 하고 있을 것입니다. 엔비디아의 논리는 이렇습니다. "우리가 중국에 칩을 팔아야 그들의 내수 시장이 충분히 커지지 못한다. 그래야 중국 내에서 소프트웨어 생태계의 피드백 루프가 형성되는 걸 막을 수 있고, 그들의 기술 굴기를 제대로 견제할 수 있다"는 거죠.

​

사실 AI ​오픈소스 소프트웨어 생태계에는 중국인 기여자가 엄청나게 많습니다. vLLM, PyTorch, SGLang을 비롯해 수많은 라이브러리나 특히 low-level 소프트웨어 영역으로 갈수록 두드러지죠. 최고 수준의 오픈소스 도구나 모델 중 상당수가 사실상 중국 기업들이 오픈소스로 푼 것들입니다.

그런데 만약 중국이 더 이상 엔비디아 칩을 쓸 수 없게 된다면 어떻게 될까요? 이 모든 훌륭한 오픈소스 도구들이 엔비디아 칩이 아니라 화웨이 칩에 맞춰서 개발될 겁니다. 그럼 엔비디아가 그토록 자랑하던 CUDA 생태계의 거대한 해자가 약해지는 것 아닐까요? 더 나아가, 중국은 단순한 내수용을 넘어 자신들만의 강력한 내부 피드백 루프를 갖추게 되고, 이를 전 세계로 확장해 나갈지도 모릅니다. 이것이 바로 엔비디아가 주장하는 핵심 논리입니다.

​

​

딜런 파텔 Dylan Patel : 저는 이 주장에 동의해야 할지 잘 모르겠습니다. 왜냐하면 제가 생각하는 AI의 발전 타임라인이 너무나도 빠르기 때문입니다. 여기서 말하는 건 AGI 같은 먼 미래가 아니라, 당장 AI 산업 전반의 매출이 $100B 규모로 성장하는 속도 말입니다. 저는 2026년 말이면 AI 업계 ARR이 $100B를 찍을 수 있다고 봅니다. 오픈AI가 $45~50B, 앤스로픽이 $35~40B, 거기에 구글의 제미나이와 Vertex 딥마인드 모델들, 앤스로픽 모델을 지원하는 Vertex API, AWS의 Bedrock API, Azure의 Foundry API까지 다 합치면 연말에 $100B 달성은 충분히 가능합니다. 엄청난 규모죠.

​

그렇다면 이 $100B가 창출할 경제적 가치는 어느 정도일까요? 그리고 그중 중국이 차지하는 비중은 얼마나 될까요?

아마 중국의 비중은 서구권보다 10배는 낮을 겁니다. 중국은 AI를 아직 대중적으로 널리 퍼뜨리지 못했으니까요. ChatGPT는 대략 10억 명의 사용자를 보유하고 있고, 거기에 제미나이를 더하고, 메타가 주장하는 5억 명의 사용자까지 합치면 서구권에서는 이미 AI 사용량이 엄청나고 앞으로도 계속 치솟을 겁니다. 사람들은 점점 이 기술에 익숙해져야만 할 거고요.

​

결국 가장 중요한 질문은 "AI가 전 세계에 어떤 경제적 이익을 가져다줄 것인가?"입니다. 까놓고 말해서 이건 경제 전쟁입니다. 만약 미국과 서방 세계가 AI 경쟁에서 승리하여 경제 성장을 촉진하고 무기 체계, 전력망 설계, 사이버 공격 방어 등 모든 것을 향상시키는 강력한 피드백 루프를 가진 고도화된 AI 시스템을 통제하게 된다면 어떨까요? 중국을 상대로 확실한 우위를 점하게 될 것이고, 중국은 글로벌 패권국으로 부상하지 못할 겁니다. 하지만 반대로 AI가 없다면, 중국은 미국을 가볍게 앞지르며 무조건 글로벌 패권국이 될 겁니다.

​

그래서 두 가지 관점이 충돌합니다. 서방이 주도하는 초강력 AI 시스템의 발전 속도와, 중국이 몇 년 뒤처진 기술로 칩부터 모델까지 자체 생태계를 구축하는 속도 중 어느 쪽이 더 빠를 것인가? 그리고 규제와 제재 속에서 미국의 반도체 생산 기지 온쇼어링 노력은 어떤 의미를 가질까요?

​

이른바 Chips Act부터 시작해 지금 미국에 지어지고 있는 모든 인프라들 말입니다. 참고로, 예상하셨겠지만 현재 미국 내 건설 프로젝트들은 다들 엄청나게 지연되고 있습니다. 저는 TSMC가 미국에서 실제 웨이퍼를 생산하고 실물 팹을 가동하는 것을 비롯해, 최근 발표된 다른 팹들도 잘 진행되고 있다고 생각합니다. 한국 기업이 텍사스에 반도체용 특수 가스 공장을 짓는 등 다양한 종류의 인프라 시설들이 생겨나고 있죠. 저는 $50B 규모의 Chips Act가 제 역할을 아주 훌륭히 해냈다고 봅니다.

​

단지 사람들이 반도체 산업의 거대한 규모를 제대로 이해하지 못하고 있을 뿐입니다. 반도체는 전 세계에서 가장 복잡한 공급망을 가진 산업입니다. 비행기를 제조하는 것보다 훨씬 거대하고, 사실상 세상 그 어떤 산업보다도 규모가 큽니다. 세계 10대 기업을 살펴보면, 그중 8개 기업이 자체적으로 반도체를 설계하고 있습니다. 구글도 자체 칩인 TPU을 설계하는데, 만약 구글이 검색에 최적화된 TPU를 만들지 않았다면 검색 비용이 10배는 더 들었을 겁니다. 메타도 자체 칩으로 추천 시스템을 돌리고 있고, 애플 역시 자체 칩이 없었다면 기기 성능이 지금보다 훨씬 떨어졌을 겁니다. 이처럼 잘나가는 기업들은 다들 자체 칩을 만들고 있죠.

​

이토록 복잡하고 거대한 반도체 공급망을 유지하기 위해, 전 세계적으로 매년 약 $150B 규모의 보조금이 반도체 산업에 투입되고 있습니다.

그런데 미국은 앞으로 10년에 걸쳐 고작 $50B를 지원하겠다는 겁니다. 규모의 차이가 너무 크죠. 대만 한 국가에서만 반도체 산업에 투자된 CapEx 총액이 $500B가 넘습니다. 대만 내수 시장이랄 것도 없는데 말이죠. 이런 상황에서 $50B의 보조금이 과연 미국의 판도를 얼마나 뒤바꿀 수 있을까요?

​

물론 안 하는 것보단 낫습니다. 다시 강조하지만 Chips Act는 정말 훌륭한 법안입니다. 다만 저는 전기차나 태양광 산업에는 수조 달러 규모의 패키지를 지원하면서, 왜 반도체에는 고작 $50B만 쥐여줬는지 이해할 수가 없습니다. 반도체 생산 기지를 미국으로 제대로 온쇼어링하려면 훨씬 더 큰 규모의 지원 패키지가 필요합니다.

​

지금까지 진행된 상황만 봐도 지원의 효과는 입증되었잖아요. TSMC가 당장 애리조나 공장에서 엔비디아, 애플, AMD 등을 위한 칩을 만들고 있으니 말입니다. 이건 정말 대단한 일입니다. 미국 정부가 이 모든 상황을 제대로 인지하고 있냐고요? 글쎄요. 솔직히 말해서 Chips Act가 통과된 건 자동차 가격이 폭등했기 때문입니다.

​

자동차 제조사들은 Just-in-time으로 재고를 관리하는데, 코로나19가 터지고 자동차 판매량이 급감하자 반도체 주문을 싹 취소해 버렸죠. 그러자 엔진용 마이크로컨트롤러나 전력 칩을 만들던 팹들은 수요가 폭발하던 데이터센터, PC, 스마트폰용 반도체 생산으로 라인을 싹 돌려버렸습니다.

시간이 지나 사람들이 "집에만 있어서 돈도 좀 모였는데 차나 한 대 살까?" 하면서 자동차 수요가 폭등하고 차값이 천정부지로 솟구치기 시작했습니다.

​

다급해진 자동차 회사들이 반도체 공장에 "우리 엔진용 칩 좀 다시 만들어 줄래?"라고 요청했지만, 공장 입장에서는 "안 돼. 우린 지금 키보드나 마우스 같은 데 들어가는 비슷한 칩을 만들고 있어. 게다가 이 고객들은 코로나 때 우리 주문을 취소하지 않고 끝까지 파트너십을 지켜준 곳들이야. 너희처럼 우리를 헌신짝처럼 버리지 않았다고."라며 거절한 겁니다. 포드든 토요타든 자동차 OEM들이 자업자득으로 공급망을 망쳐버린 거죠.

​

그래서 당시 "세상에, 반도체가 없어서 자동차를 못 만든대!"라는 여론이 들끓지 않았다면, Chips Act는 애초에 통과되지도 못했을 겁니다. 정말 어이없는 일이죠. 실제로 국회를 돌아다니며 의원들에게 바로 그 자동차 반도체 부족 사태 프레임으로 설득 작업을 벌인 사람들을 제가 아는데, 결국 그 논리 덕분에 법안이 통과된 거니까요. 하지만 정말 웃긴 건, Chips Act로 지원받는 공장들은 결국 최첨단 미세 공정 칩을 만드는 곳들이라는 겁니다. 자동차에 들어가는 칩은 단 하나도 생산하지 않죠. 정말 아이러니한 일입니다.

​

맷 터크 : 그러면 미국은 좀 부정적이게 보시는 건가요?

​

딜런 파텔 Dylan Patel : 저는 이 상황을 아주 낙관적으로 보고 있습니다. 그러니까, 미국이 정말 엄청난 규모로 반도체에 투자하기로 작정하는 세상이 올 거라고 생각하시나요? 저는 그저 지금보다 더 큰 규모의 Chips Act가 필요하다고만 생각했었는데, 상황을 보세요. 트럼프가 TSMC를 압박해서 어마어마한 규모의 추가 투자를 약속받아냈고, TSMC는 실제로 움직이고 있습니다. 트럼프가 "미국에 팹 안 지으면 관세로 박살을 내버리겠다"고 으름장을 놓으니까, TSMC가 "알겠어, 지을게!" 하고는 바로 짓기 시작한 상황인 거죠.

​

물론 팹을 완공하는 데는 정말 한세월이 걸립니다. 다시 한번 강조하지만 이건 세상에서 가장 복잡한 작업이기 때문이죠. 세상에서 가장 깨끗한 공간은 병원 수술실이나 바이오 연구소 같은 곳이 아닙니다. 바로 반도체 팹이죠. 그리고 세상에서 가장 비싼 장비 역시 최첨단 의료 기기나 우주로 가는 로켓 같은 게 아니라 바로 반도체 제조 장비입니다. 제가 어릴 때 꿈이 로켓 공학자였다가 나중엔 외과 의사로 바뀌었거든요. 그런데 가만 보니까 반도체라는 건 마치 로켓에 하는 정밀 외과 수술(rocket surgery) 같은 건데, 심지어 그보다 훨씬 더 끝내주게 멋진 거잖아요! 그래서 전 항상 반도체를 이런 식으로 묘사하곤 합니다.

​

어쨌든 결론적으로 지금 미국 곳곳에 팹들이 지어지고 있습니다. 물론 이 팹들이 당장 미국을 반도체 100% 자급자족 국가로 만들어주진 못할 겁니다. 하지만 저는 그게 중요한 문제도 아니고, 애초에 자급자족 자체가 올바른 목표도 아니라고 생각합니다. 까놓고 말해서 경제적인 관점에서는 세계화가 그냥 전반적으로 좋은 거잖아요. 꽤나 도발적인 의견일 수도 있겠지만요.

AI 인프라 CapEx 거품론

AI ARR $100B, 빅테크의 보증서, Tier 1 AI Lab들의 모델

​

맷 터크 : 그럼 CapEx 문제로 넘어가 볼까요. 과연 지금 자본 지출에 거품이 낀 상태일까요? 우리가 너무 과도하게 투자를 하고 있는 걸까요? 아니면 앞서 말씀하신 매출 증가율과 그에 따라 올해 예상되는 수요를 감안해 볼 때, 오히려 투자가 턱없이 부족한 상황인 걸까요?

​

딜런 파텔 Dylan Patel : 저는 분명히 이 분야의 맥시(Maxi, 극단적 낙관론자)입니다. 앞으로 엄청나게 많은 인프라가 필요해질 것이라 봅니다. 사실 저는 공급망을 분석하고 컨설팅을 해주는 대가로 돈을 버는 사람이고, 저희 회사가 하는 일이 바로 그거니까요. 그러니 당연히 제 시각은 그쪽으로 아주 편향되어 있을 수밖에 없습니다. 그래도 저희가 공급망의 특정 분야가 꺾이는 타이밍을 짚어내는 데는 꽤 탁월하다고 생각합니다.

​

어쨌든 다시 경제적인 이야기로 돌아가 보자면, 올해를 기점으로 생성형 AI 분야의 매출은 $100B를 훌쩍 넘어설 것입니다. 광고 같은 기존 분야가 이미 수천억 달러 규모의 AI 산업이긴 하지만, 순수 생성형 AI만 놓고 보면 불과 얼마 전까지만 해도 $1B도 안 되던 시장이었습니다. 2023년으로 돌아가 보면 $1B 미만이었고, 2024년은 정확히는 몰라도 대략 $10B쯤 됐다고 칩시다. 그리고 2025년에는 $30~40B 수준이었겠죠. 그러니 올해는 가뿐히 $100B를 돌파할 겁니다.

​

​

딜런 파텔 Dylan Patel : 만약 매출이 $100B이고 GPM을 50%로 가정한다면, 매출총이익이 $50B, 매출원가(COGS)가 $50B가 됩니다. 그리고 이 $50B의 매출원가는 결국 인프라를 가동하는 데 쓰여야 하죠. 대략 5년의 감가상각을 적용한다고 치면, $100B의 매출을 올리기 위해 $250B 규모의 인프라가 필요하다는 계산이 나옵니다.

​

그렇다면 올해 AI 인프라에 실제로 지출되는 비용은 얼마일까요? 그건 인프라의 어느 계층을 보느냐에 따라 다릅니다. 에너지를 이야기한다면 그건 수명이 아주 긴 자산이고, 데이터센터 역시 수명이 긴 자산에 속하죠. 반면 칩은 수명이 그렇게 길지 않습니다. 사람들은 계속해서 CapEx를 쏟아붓고 있고, 올해 하이퍼스케일러들의 CapEx만 해도 대략 $500B에 달할 겁니다.

게다가 그들 외에도 다른 곳에서 발생하는 자본 지출이 엄청나게 많죠.

​

그래서 이게 버블이냐고요? 음, 이론적으로 계산해 보면 원래 필요한 것보다 두 배나 많은 돈이 투입되고 있는 건 맞습니다. 하지만 다른 한편으로는 아니기도 합니다. 여기엔 R&D 요소가 포함되어 있으니까요. 작년에 당장 수익을 내지 못했던 초과 지출이 있었기에 올해 이렇게 훌륭한 AI 모델들이 탄생할 수 있었던 것이고, 클라우드 환경에서 코드를 다룰 줄 아는 사람들이 이를 활용해 삶을 바꿀 수 있게 된 겁니다.

​

이런 걸 보면 거품이 아니죠. 적어도 아직은 거품이 아니라고 생각합니다. 가장 중요한 핵심은 AI 모델의 발전이 멈추느냐 마느냐입니다. 모델의 발전이 멈추는 바로 그 순간, 이 모든 막대한 지출은 물거품이 될 테니까요. 하지만 지금까지 우리는 컴퓨팅을 더 많이 투입할수록 성능이 더 좋아지고 더 나은 모델이 나오는 일관된 발전을 두 눈으로 목격해 왔습니다.

​

​

맷 터크 : 모델 성능은 하드웨어의 발전이나 데이터센터 구축 결과가 뒤늦게 발현되는 후행 지표인 셈이죠.

​

딜런 파텔 Dylan Patel : 결국 2024년에 마이크로소프트가 오픈AI를 위해 쏟아부은 CapEx가 2025년에 오픈AI나 코어위브 같은 기업들의 눈부신 성과로 이어지는 것입니다. 올해 그들의 AI 모델이 그토록 압도적으로 훌륭해질 수 있었던 것도 바로 그 선제적인 투자 덕분이죠.

앤스로픽과 아마존, 그리고 구글의 모델들이 지금 이렇게 뛰어난 성능을 보여주는 것도 다 같은 맥락입니다.

​

사실 재밌는 건, 그들은 아직 그 칩들에 대한 투자 비용을 다 회수하지도 않았다는 점입니다. 왜냐하면 그 칩들은 앞으로도 몇 년 동안이나 더 써먹을 수 있는 유효 수명이 넉넉하게 남아 있으니까요. 저는 AI 모델의 발전 속도와 방향성이 아주 명확하다고 봅니다. 물론 앞서 말씀드린 대로 그 발전이 멈추는 순간, 즉 우리가 기술적 한계라는 거대한 벽에 부딪히고 더 이상 새로운 연구 방향조차 보이지 않게 된다면, 그때는 이 산업 전체가 정말 끝장나는(cooked) 거겠죠.

​

네오클라우드는 데이터센터당 얼마를 버는가?

2026-02-10

네오클라우드 뜯어보기 : GPU 임대의 경제학, 네오클라우드 BIG 4 비교분석 (바로가기)

2026-02-22

네오클라우드 뜯어보기 #2 : 새로운 시대의 AI 계급도, 전력을 돈으로 바꾼 Powered Shell (바로가기)

*코멘트 → 네오클라우드 뜯어보기 자료는 단순한 네오클라우드를 보려는 작업이 아니라, AI 인프라의 시대가 어떻게 바뀌어가고 있는지 그리고 가장 기본적인 GPU 베어메탈을 주로 제공하고 있는 네오클라우드들의 수익성을 분석해봄으로써 GPU 임대수요 및 CapEx가 지속가능한지를 알기 위한 자료였습니다.

​

*코멘트 → 1편의 핵심 차트를 2개만 꼽자면 이것입니다. GPU IaaS의 감가상각 등을 모두 고려했을 때 네오클라우드들이 클러스터당 5년의 서비스 기간 동안 얼마를 벌 것인가입니다. 대략 데이터센터당 12%를 벌 수 있다는 추정입니다. 그리고 이들이 향후 소프트웨어 마진을 더하려는 것이 목표이기 때문에 이것도 합리적으로 추정할 때 향후 데이터센터당 20%의 이익을 남기는 사업으로 나아가려는 방향이라는 것을 정리했었습니다.

​

*코멘트 → 2편의 핵심 차트를 2개만 꼽자면 이것입니다. 왼쪽은 새로운 시대의 AI 인프라 계층도입니다. 이 계층도의 핵심은 간단합니다. 계층의 상단으로 올라갈수록 와트(Watt)당 창출되는 매출이 커진다는 점입니다. 즉, 똑같은 전력을 소비하더라도 상위 계층에 있는 기업일수록 더 높은 부가가치를 만들어내며 수익을 극대화하는 구조입니다. 그리고 돈은 위에서부터 아래로 흐릅니다. AI Labs들이 CapEx to OPEX를 위해서 만든 계층도이기 때문입니다. 오른쪽은 가장 아래에 있는 전력을 돈으로 바꾸는 임대사업자들인 Powered Shell 기업들 입장에서는 대략 Shell당 25%를 남긴다고 추정했습니다.

​

​

맷 터크 : 그리고 거기에는 '더 훌륭한 모델이 나오면 자연스럽게 더 많은 수요가 뒤따를 것'이라는 전제가 깔려 있는데, 사실 이건 지극히 합리적인 가정이라고 볼 수 있습니다.

​

딜런 파텔 Dylan Patel : 오늘날 GitHub 커밋의 2%는 Claude Code가 작성한 것입니다. 즉, AI가 직접 커밋을 남겼다는 뜻이죠. 물론 자동으로 커밋되지 않도록 이 기능을 비활성화할 수도 있지만, 어쨌든 현재 전체 GitHub 커밋의 2%가 Claude Code에 의해 이루어지고 있다는 사실은 변함이 없습니다.

​

전 세계 소프트웨어 개발자들에게 지급되는 임금 규모가 무려 연 $2T에 달합니다. 만약 AI가 그중 2%의 비중을 차지하고 있다고 단순 계산해 보더라도, "잠깐만, 이건 진짜 말도 안 되게 엄청난 금액이잖아!"라는 생각이 절로 드실 겁니다. 다시 말해, AI는 이미 오늘날 세상에 창출하고 있는 어마어마한 가치에 비해 턱없이 적은 돈을 벌어들이고(under-earning) 있는 셈입니다. 그것도 아주 큰 격차로 말이죠.

​

맷 터크 : 하지만 결국 이 버블 논란에 대한 핵심은, 이것이 '타이밍'의 문제이기도 하다는 것 아닐까요? 다시 말해, 공급 측면인 인프라 구축 속도와 실제 시장의 수요가 과연 비슷한 시기에 딱 맞아떨어질 수 있느냐의 문제인 거죠. 이렇게 보는 게 맞을까요?

​

딜런 파텔 Dylan Patel : 네, 하지만 경제적인 관점에서 보면 이런 식입니다. 가령 1GW 규모의 인프라를 구축한다고 치고 데이터센터, 칩, 네트워킹 등등 다 합쳐서 대략 $50B를 한 번에 투자했다고 가정해 보죠.

이 인프라의 유효 수명이 5년이라고 하면, 1년에 $10B씩 비용이 들어간 셈입니다.

​

만약 첫해에는 돈을 전혀 못 벌어서 수익이 $0이고, 둘째 해에도 $0이었는데, 3년 차, 4년 차, 5년 차에 매출 총이익률 50%를 달성해서 각각 $20B, $20B, $20B를 벌어들인다면 이게 과연 거품일까요? 결과적으로 $50B를 투자해서 총 $60B를 벌어들인 거잖아요. 물론 투하자본수익률(ROIC) 측면에서 최고의 수익은 아니겠지만, 어쨌든 투자한 만큼의 제 몫은 충분히 해낸 셈이죠. 과연 이걸 거품이라고 부를 수 있을까요?

​

사실 이게 바로 오늘날 업계에서 벌어지고 있는 일입니다. 기업들이 인프라에 엄청난 돈을 쏟아붓고 있지만, 그중 상당 부분은 당장 아무런 수익도 내지 못하고 있습니다. 대부분의 투자가 그저 R&D을 진행하거나, 시장 채택률을 높이기 위해 애쓰거나, 무료 사용자들을 끌어모으는 데 쓰이고 있으니까요.

​

네, 결국 그게 바로 방금 말씀하신 '타이밍'의 문제입니다. 맞아요. 그 $50B는 막대한 CapEx는 오롯이 첫해에 전부 선지출되었다는 점이 핵심이죠.

​

맷 터크 : 그럼 에너지 문제는 어떨까요? 데이터센터 업계와 관련해서, 예전에 에너지를 대체할 천연가스 발전에 대한 아주 흥미로운 글을 올리신 적이 있잖아요.

그렇다면 결과적으로 AI가 전력망을 사실상 파괴하고 있다고 봐야 하는 걸까요?

​

딜런 파텔 Dylan Patel : 솔직히 미국은 지금보다 훨씬 더 훌륭한 전력망을 갖출 수 있었지만, 그냥 우리가 원하지 않았을 뿐입니다. 아무도 나서서 노력하거나 주도하지 않았으니까요. 아시다시피 지금 전력이 턱없이 부족합니다. 사실 미국은 지난 50년 동안 발전소를 제대로 지은 적이 없습니다. 석탄 발전을 가스 발전으로 전환하는 정도의 일은 있었지만, 대규모로 새로운 발전 인프라를 전면적으로 구축한 적은 없었죠.

​

게다가 전력 산업 자체가 무너져 내린 적도 여러 번 있었습니다. 2010년대에는 수익성이 좋다는 이유로 한국과 일본 투자자들이 시장에 몰려들면서 IPP들이 큰 타격을 입기도 했고, 그 이전인 2000년대 초반에는 전력 수요가 조금 늘어나는 걸 보고 사람들이 발전소를 과잉 건설했다가 낭패를 보기도 했죠. 이처럼 전력 산업이 몇 번이나 쓴맛을 보다 보니, 그 이후로 아무도 제대로 발전소를 짓지 않게 된 겁니다.

​

그런데 갑자기 데이터센터들이 속속 가동되기 시작하더니, 불과 몇 년 만에 미국 전체 전력망에서 차지하는 비중이 2%에서 10%로 폭증해 버렸습니다. 이 산업에 어마어마한 변화가 닥친 셈이죠. 하지만 우리에겐 이걸 감당할 노동력이 없습니다.

저는 결국 장비와 노동력이 가장 큰 문제라고 봅니다. 장비를 만드는 것도 결국엔 노동력과 시간이 필요한 일이니까요. 공장을 지어야 장비를 만들 수 있죠.

​

그래도 장비 문제는 비교적 합리적으로 해결될 것 같습니다. 가스 발전이 아주 좋은 예입니다. 처음에는 사람들이 "가스터빈은 가장 효율이 좋고 성능이 뛰어난 지멘스(Siemens)나 GE 베르노바(GE Vernova) 두 곳의 제품만 써야 해"라고 생각했습니다. 하지만 이내 "어라? 미쓰비시(Mitsubishi)도 있네? 쟤네도 생산량을 빠르게 늘리고 있잖아?", "오, 한국의 두산(Doosan)도 있네? 저기도 생산을 팍팍 늘리네?"라는 걸 깨닫게 된 거죠. 심지어 "아, 그냥 커민스(Cummins) 엔진을 가져다 써도 되잖아?"라고 생각하게 됩니다. 픽업트럭이나 디젤 트럭 타보신 분들은 아시겠지만 다들 커민스 엔진을 사랑하잖아요. 길거리에 굴러다니는 Ram 트럭에 커민스 배지가 딱 붙어 있으면 그건 거의 하나의 아우라를 내뿜는 상징이나 다름없습니다.

​

어쨌든 이렇게 다양한 엔진들이 있고, 사람들은 어떻게든 장비를 만들어낼 방법을 찾아내고 있습니다. 상황이 이렇습니다. 태양광은 발전량이 너무 간헐적이라 별로고, 풍력도 마찬가지로 간헐적이라 안 됩니다. 원자력은 짓는 데 한세월이 걸려서 안 되고, 석탄은 너무 환경오염이 심해서 안 되죠.

그럼 가스 발전 말고 데이터센터를 위한 전력을 도대체 어떻게 만들겠어요? 게다가 전력 회사들은 데이터센터 부지까지 가스망을 연결해 주려 하지도 않습니다. 그래서 일론 머스크가 직접 나선 거고, 이제는 모두가 그 방식을 따라 하고 있는 겁니다.

​

맷 터크 : CapEx와 버블 논란에 대한 이야기를 마무리하기 전에, 아까 언급하셨던 엔비디아와 코어위브의 거래에 대해 잠깐 다시 짚고 넘어가고 싶습니다. 이 시장을 보면 마치 순환 거래(circular deals) 같은 것들이 만연하고, 동시에 엄청난 규모의 부채가 이리저리 떠돌아다니는 것처럼 보이거든요.

​

제가 그 거래의 구체적인 세부 사항까지는 모르지만, 이와 비슷한 맥락의 여러 거래 형태에 대해서는 들어본 적이 있습니다. 사실상 거대한 대기업이 부채를 보증해 주고, 수많은 인프라 구축 프로젝트에서 최후의 보루 역할을 해주는 식이죠. 여기에 오라클의 대규모 인프라 투자 약정 같은 것들까지 복잡하게 얽혀 있습니다. 이 모든 상황 전반을 살펴보면, 솔직히 좀 불안감을 자아내는 일종의 '취약성'이 깔려 있는 것 같습니다. 지금의 이런 상황에 대해 어떻게 생각하시나요?

​

딜런 파텔 Dylan Patel : 저는 이 상황이 전혀 문제없다고 생각합니다. 사람들이 괜히 호들갑을 떨면서 있지도 않은 억지 서사를 만들어내고 있을 뿐이에요.

상황을 한번 볼까요. 구글은 당장 데이터센터 캐파가 부족합니다. 그래서 누군가 데이터센터를 지어주길 원하지만, 정작 인프라를 지을 기업들은 자본이 없어서 짓지를 못합니다. 자본이 아예 없거나, 아니면 은행에서 듣지도 보지도 못한 생소한 기업들을 믿지 못해 대출을 안 내주는 거죠. 그런데 이때 구글이 나섭니다. "아니, 우리가 얘네들 실사(Due Diligence) 다 해봤어. 얘네 여기다 지을 능력 충분해. 다 지으면 우리가 그 인프라를 무조건 사거나 쓰겠다고 보증까지 서줄게." 사실 과거에는 이렇게 확실한 고객이 확보되었다는 것만으로도 대출을 받기에 충분했습니다.

​

*코멘트 → 구글이 3Q25부터 적극적으로 이 전략을 구사하면서 네오클라우드인 Fluidstack을 키워오고 있는데, 그렇게 구글이 지급보증한 금액이 4Q25 기준 총 $16.9B 규모입니다. TeraWulf, Cipher Mining, Hut 8과의 계약에 대한 지급보증입니다. 엔비디아는 오히려 이러한 파트너사들의 임대 계약에 대해서 $3.5B만 보증해준 상태라서 향후 코어위브나 네비우스 등 일부 우량 네오클라우드의 클러스터들에 대해서 지급보증을 해줄 수도 있어 보입니다. 물론, 이번에 코어위브에게 제공한 $2B 규모의 지분 추가매입이 코어위브에게 엔비디아가 제공한 유동성 지원이었습니다.

​

코어위브의 초기 사례를 보면, 그들은 굳이 이런 강력한 뒷배(backstop)조차 필요 없었습니다. 그냥 "자, 이것 보세요. 우리가 마이크로소프트랑 이만큼의 GPU를 공급하기로 맺은 계약서입니다. 이 데이터센터들에 GPU를 넣고, 사람들을 고용해서 이 사업을 굴릴 겁니다."라고 내밀었죠. 당장 수중에 돈은 한 푼도 없었지만, 그 확실한 계약서 덕분에 대출을 끌어와서 사업을 굴릴 수 있었습니다. 코어위브는 그렇게 해냈고, 거기엔 어떤 순환 금융(circular financing) 꼼수도 없었습니다. 하지만 그건 투자 규모가 $1B 미만이거나 고작 수십억 달러 단위일 때의 이야기입니다. 지금은 투자 규모가 수천억 달러 단위로 커졌잖아요.

​

그러니 "내가 당장 데이터센터 캐파가 필요한데 어떻게 구하지?"라는 질문에 대한 답은 대담해집니다. 똑똑해 보이고 데이터센터를 지을 능력은 되는데 돈만 없는 사람들을 찾아가서 "내가 다 쓸게"라고 하는 겁니다. 더 나아가 그들의 채권자(은행 등)를 찾아가 "내가 쟤네들 보증 설게"라고까지 하는 거죠. 대기업 입장에서는 그 신생 기업을 철저히 검증했지만 채권자는 그렇지 않으니까요.

​

과거 마이크로소프트와 코어위브 계약에서는 코어위브가 일을 망치면 마이크로소프트가 언제든 발을 뺄 수 있었습니다.

하지만 투자 규모가 커진 지금, 채권자들은 그런 리스크를 원하지 않죠. 네, 물론 언제나 계약 취소 같은 리스크는 존재합니다. 그래서 지금의 이런 대기업들의 뒷배 자처 행위는 그저 좀 더 확실한 형태의 보증일 뿐입니다. 오라클이 돈을 받고, 오픈AI가 돈을 받고, 엔비디아가 돈을 지불하는 이 모든 과정들 말입니다.

​

이걸 두고 완벽한 순환 거래라며 비판하는데, 사실 말도 안 되는 소리입니다. 엔비디아가 오픈AI의 지분을 확보하는 걸 두고, "네가 1GW어치 칩을 살 때마다 우리도 네 지분을 사줄게"라고 뒷거래를 한다고들 하죠. 뭐, 좋습니다. 결과적으로 엔비디아는 스스로 가치 있다고 판단한 '오픈AI'라는 훌륭한 자산을 보유하게 된 겁니다. 그리고 오픈AI는 방향을 돌려 그 투자받은 돈(지분 매각 대금)을 활용하려 하죠. 오픈AI가 그 돈을 어디다 쓰겠습니까? 직원들 현금 급여 비중은 그리 크지 않을 테고, 회사 지출의 99% 이상이 컴퓨팅 확보에 쓰일 겁니다.

​

그래서 결국 비즈니스는 이런 식으로 굴러갑니다. "좋아, 내가 이 돈을 투자받았으니, 아까 설명했던 그 방식을 그대로 실행해야지." 첫 1~2년은 적자를 보더라도, 3~5년 차에 수익을 내길 기대하는 아까 그 로직 말입니다.

​

오픈AI가 정확히 그렇게 해오고 있죠. "자, 내가 시장에 나가서 $10B를 투자받았어. 그리고 5년 동안 $65B어치 클러스터를 대여하는 계약을 맺을 거야." 명확히 하자면, 지금 오픈AI 수중에는 당장 첫해 렌탈 비용을 낼 돈밖에 없습니다. 하지만 오픈AI는 이렇게 말하는 겁니다. "오라클, 넌 날 믿잖아? 내가 엄청나게 성장해서 이 돈을 다 갚을 수 있을 거라고 생각하잖아." 그럼 오라클은 대답하겠죠. "응, 맞아. 설령 네가 망해서 돈을 못 내더라도, 난 이 훌륭한 인프라를 다른 회사에 비싸게 팔 수 있을 거라 확신해." 그럼 상황이 정리되는 겁니다. "좋아, 그럼 내가 올해 당장 $50B를 쏟아부어서 그 1GW급 데이터센터를 지어주지."

​

이걸 두고 오픈AI가 GPU를 소비할 때마다 투자를 받고, 그 투자금이 다시 클러스터 임대료 첫해 분을 내는 데 쓰이는 걸 순환 거래라고 깎아내릴 수 있을까요? 1년 차든 2년 차든, 결국 이 비즈니스 구조는 전혀 문제 될 게 없이 아주 정상적이고 훌륭하게 굴러가고 있습니다.

​

딜런 파텔 Dylan Patel : 우리가 AI 모델의 발전을 이야기할 때, 방금 한 이야기는 앤스로픽의 Opus 4.5에만 국한된 이야기입니다.

제 생각에 조만간 출시될 오픈AI의 새로운 모델은 Opus 4.5보다 훨씬 더 뛰어날 겁니다. 대략 2월이나 3월쯤으로 꽤 곧 나올 텐데요.

​

왜냐하면 오픈AI가 앤스로픽보다 훨씬 더 나은 강화학습 스택을 가지고 있기 때문입니다. 지금 당장은 오픈AI의 사전훈련 모델이 앤스로픽의 사전 학습 능력에 비해 형편없을 뿐이죠. 따라서 만약 오픈AI가 사전훈련 능력을 크게 끌어올리면서 자신들의 강력한 강화학습 스택을 유지한다면, 정말 압도적으로 훌륭한 모델을 갖게 될 겁니다. 반대로 구글은 앤스로픽이나 오픈AI보다 사전훈련 모델은 훨씬 뛰어나지만, 강화학습 스택이 엉망이죠. 그래서 만약 구글이 강화학습 기술을 따라잡는다면, 구글의 모델들 역시 말도 안 되게 좋아질 겁니다. 물론 앤스로픽도 눈에 띄게 발전하고 있고요.

​

이렇게 생태계 전반을 둘러보면 모든 플레이어들이 정말 무서운 속도로 발전하고 있습니다. 우리는 지금 엄청난 도약의 순간들을 목격하고 있죠. ChatGPT가 등장했을 때가 그랬고, '지브리 스타일로 그려줘'가 나왔을 때도 하나의 큰 모멘텀이었습니다. 물론 ChatGPT를 업무에 쓰는 사람들도 많지만 ChatGPT가 지금까지 일으킨 모먼트들은 다분히 소비자 중심적이긴 했습니다.

​

저는 Claude Code의 등장이 완전히 새로운 차원의 모멘텀이라고 생각합니다. Claude Code에 적용된 Opus 4.5 모델은 우리가 일하는 방식 자체를 영원히 바꿔놓은 혁명적인 순간입니다. 그래서 지금 저희 회사에서는 직원 54명 전원에게 이걸 강제로라도 쓰게 하려고 노력 중입니다. 직원 중 절반 정도는 코딩을 할 줄 알지만, 나머지 절반에게도 Claude Code를 쓰게끔 밀어붙이고 있죠. 반도체 컨설팅 배경을 가진 직원이든, 반도체 패키징 엔지니어링 출신이든, 실제 팹에서 일했던 사람이든 상관없이 말입니다.

​

코딩을 모르던 이런 사람들조차 이제 클로드 코드를 사용하고 있고, 그들의 생산성은 미친 듯이 치솟고 있습니다. 새롭게 나온 협업 툴(Claude Cowork 등)은 아직 Claude Code에 비하면 별로지만, 결국엔 발전하겠죠.

​

정말이지 완전히 새로운 시대가 열렸습니다. 지금은 손만 뻗으면 딸 수 있는 과실(low-hanging fruit)이 지천으로 널려 있습니다. 모델들이 계속 발전하고 있고, 저는 이 발전이 결국 막대한 매출로 직결될 거라고 믿습니다. 물론 대중적인 채택이 당장은 쉽지 않을 수 있습니다. 솔직히 지금 Claude Code의 사용자 경험은 좀 구리거든요.

하지만 딱 6개월만 기다려 보세요. 모델 성능이 워낙 좋아져서 그냥 말하듯 대화하는 것만으로도 완벽한 경험이 구현될 겁니다. 굳이 CL 통합 같은 복잡한 걸 쓸 필요도 없이 훨씬 더 쉬워지겠죠.

​

최근에 출시된 Claude for Excel만 봐도 꽤 쓸만하잖아요? 앞으로 재무 모델을 만들거나 하는 모든 업무들은 그냥 AI에게 말하는 것만으로 끝날 겁니다. 내가 직접 대화 몇 마디로 끝낼 수 있는데, 굳이 주니어 애널리스트한테 일을 시킬 이유가 있겠어요? 진정한 신세계가 열린 겁니다.

​

소프트웨어 개발 임금만 해도 $2T 규모인데, 앞서 말한 AI 비중 2%는 사실 깃허브 내에서 Claude Code 하나만 쳤을 때 이야기입니다. 거기에 오픈AI Codex나 Cursor 같은 다른 툴들까지 전부 합치면, 아마 오늘날 커밋되는 코드의 5% 이상은 AI가 생성한 것일 겁니다. 그렇다면 스프레드시트를 만지고 사무 업무를 보는 평범한 직장인들까지 자신들의 워크플로우를 AI로 자동화하기 시작하면 과연 어떤 일이 벌어질까요?

​

다시 한번 말하지만, 우리는 완전히 새로운 세상(whole new world)을 마주하고 있습니다.

주간전략보고

2026-03-02

주간전략보고 : 투자의 생각 (3월 2일~3월 6일) (바로가기)

엔비디아 (NVDA)

2026-02-26

엔비디아 4Q25 실적발표 : 담백한 실적발표, 핵심은 모두 그린라이트 (바로가기)

2026-02-25

AI 인프라 1GW의 경제학 : 엔비디아의 '현금' vs AMD의 '워런트' (바로가기)

2026-02-22

네오클라우드 뜯어보기 #2 : 새로운 시대의 AI 계급도, 전력을 돈으로 바꾼 Powered Shell (바로가기)

2026-02-10

네오클라우드 뜯어보기 : GPU 임대의 경제학, 네오클라우드 BIG 4 비교분석 (바로가기)

2025-01-21

추론의 시대, 핵심이 된 메모리 : 메모리 쇼티지를 떠받치고 있는 힘 (바로가기)

2026-01-02

엔비디아가 $20B를 주고 데려온 남자 : Groq 창업자 조나단 로스의 통찰 (바로가기)

SemiAnalysis 인터뷰

2025-09-26

AI 사이클 한 눈에 보기, SemiAnalysis 인터뷰 : 승부사 젠슨황 그리고 화웨이의 역습 (바로가기)