오픈AI 퇴사자의 글 #2 : 초지능을 향한 지능의 폭발

[원문 유형] 네이버 프리미엄 콘텐츠
[채널] 올바른 미국주식 by SAPIENS
[게시일] 2025.10.09. 오전 11:00
[원문 URL] https://contents.premium.naver.com/sapiens/sapiensasset/contents/251007121502378es
[제목] 오픈AI 퇴사자의 글 #2 : 초지능을 향한 지능의 폭발
[수집 기준] 승인된 구독 열람권으로 실제 본문을 보존했다. 이미지·첨부는 별도 미디어 원장에 보관하며 시각적 의미 검토 여부를 구분한다.

[구독 원문 본문]
​

안녕하세요 사피엔스입니다.

​

오픈AI 퇴사자가 말하는 두 번째 이야기입니다. AGI 그 후의 초지능을 향한 이야기입니다. AGI가 개발하는 초지능의 시대, 1조 달러 GPU 클러스터의 가능성을 이야기하는 글입니다.

​

AGI와 초지능을 두고 맨해튼을 생각합니다. 냉전의 공포가 시작된 로스 알라모스에서, 원자폭탄은 더 효율적인 폭격을 위한 것이었지만 수소폭탄은 국가를 전멸시킬 수 있는 무기의 탄생이었습니다. 2019년 유치원생 GPT-2에서 2023년 똑똑한 고등학생 GPT-4까지, 이 굴레를 4년, 8년, 12년 반복할 때의 미래에 대해서 추세를 그려본 연구원의 생각을 자세하게 들어본 자료였습니다.

AI 사이클 : 전체 흐름

2025-10-03

엔비디아 CEO 젠슨황 인터뷰 : 오픈AI 10GW 동맹 x 극한의 풀스택 공동 설계 (바로가기)

2025-09-26

AI 사이클 한 눈에 보기, SemiAnalysis 인터뷰 : 승부사 젠슨황 그리고 화웨이의 역습 (바로가기)

AGI의 이해 : 오픈AI 퇴사자의 글

2025-10-11

오픈AI 퇴사자의 글 #4 : 엔드게임을 향하여, 사막에서 봅시다 (바로가기)

2025-10-10

오픈AI 퇴사자의 글 #3 : 중국의 AGI 연구소는 샌프란시스코에 있다 (바로가기)

2025-10-09

오픈AI 퇴사자의 글 #2 : 초지능을 향한 지능의 폭발 (바로가기)

2025-10-08

오픈AI 퇴사자의 글 #1 : 2027년 AGI가 온다 (바로가기)

투자자문 서비스에 따른 투자 시 원금 손실이 발생할 수 있으며, 투자 손익에 대한 책임은 전적으로 고객에게 귀속됩니다. 또한 과거의 투자수익이 미래의 수익률을 보장하지 않습니다.

​

신규 구독 전에, 아래 투자자문계약 권유문서의 계약 관련 제반 사항을 반드시 읽으시고 충분히 검토하시기 바랍니다.

​

*투자자문계약 권유문서 : https://naver.me/5ZST47Qf

목차

​

AGI에서 초지능에 이르기까지 : 원자폭탄 뒤에 개발된 수소폭탄의 중요성

AI 연구를 자동화하다

가능한 병목 시나리오

1조 달러 규모의 클러스터를 향해 : Racing to the Trillion-Dollar Cluster

훈련용 컴퓨팅

그럴 돈이 있을까요?

역사적 선례

전력

AI 반도체

이전 글에서 이어집니다 :)

AGI에서 초지능에 이르기까지

원자폭탄 뒤에 개발된 수소폭탄의 중요성

초지능 기계(Ultraintelligent Machine)란 인간의 모든 지적 활동을 훨씬 능가할 수 있는 기계라고 정의하겠습니다. 기계를 설계하는 것도 이러한 지적활동 중 하나이므로 초지능 기계는 더 나은 기계를 설계할 수 있으며, 그러면 의심할 여지 없이 '지능 폭발'이 일어나며 인간의 지능은 훨씬 뒤처지게 될 것입니다. 따라서 최초의 초지능 기계는 인간이 만들어야 할 마지막 발명품일 것입니다.

- Irving John Good (1965)

The Bomb and The Super

​

냉전의 공포는 원자폭탄이 발명됐던 로스 알라모스(Los Alamos)에서 시작됐습니다. 하지만 원자폭탄의 파괴력은 지금 생각할 때 과장된 측면이 있습니다. 원자폭탄에서 슈퍼 수소폭탄으로, The Bomb에서 The Super로 넘어가는 과정도 그에 못지 않게 중요했습니다.

​

도쿄 공습 당시 수백 대의 폭격기가 수천 톤의 재래식 폭탄을 도시에 투하했습니다. 그해 말, 히로시마에 투하했던 원자폭탄인 리틀보이(Little Boy)는 수천 톤의 재래식 폭탄과 같은 파괴력을 가진 단일 폭탄이었습니다. 그리고 불과 7년 후, 텔러가 만든 수소폭탄은 여기서 폭발력을 1,000배 증가시켰습니다. 2차 세계대전 모든 기간 동안 투하한 것보다 더 강력한 폭발력을 가진 단일 폭탄이었습니다.

​

원자폭탄 "The Bomb"은 더 효율적인 폭격 캠페인이었습니다.

슈퍼폭탄 "The Super"는 국가를 전멸시킬 수 있는 무기의 탄생이었습니다.

​

AGI와 초지능도 마찬가지입니다.

​

AI의 발전은 인간수준에서 끝나지 않습니다. 딥마인드(DeepMind)의 알파고(AlphaGo)는 최고의 인간과 게임을 하며 배운 후 자기 자신과의 경기에 들어갔습니다. 그리고 빠르게 초인적인 존재가 돼어 인간이 결코 생각할 수 없는 수를 두기 시작했습니다. 매우 창의적이고 복잡한 단계에 이른 것입니다.

​

우리는 AGI를 얻고 나서 다시 한 번 차세대 모델로의 개발에 나설 것입니다. 한 번 혹은 두세 번 더 돌릴 것입니다. AI 시스템은 엄청나게 초인적인 지능이 될 것입니다. 그들은 당신이나 저보다 질적으로 더 똑똑해질 것입니다. 훨씬 더 말이죠. 초등학생과 대화하는 것을 생각하면 비슷할 것입니다. 질적으로 똑똑한 것은 다릅니다.

​

일단 AGI를 얻게 되면, 우리는 단지 하나의 AGI를 얻는 것이 아닙니다. AGI가 머신러닝 연구의 상당부분을 수행할 수 있게 될 겁니다. 세계에서 손꼽는 AI 연구소들마다 수백 명의 엔지니어들이 연구하는 현재 상황이 아니라, 그보다 10만 배나 더 많은 알고리즘이 밤낮없이 알고리즘 혁신을 위해 일할 것입니다.

기존의 알고리즘 발전 추세선인 '매년 0.5 OOMs'씩 개선되는 속도를 크게 가속화할 수 있는 방향을 말합니다.

​

*코멘트 → 자동화된 AI 연구는 알고리즘의 발전을 가속화함으로써 1년에 5 OOMs 이상의 효과적인 컴퓨팅 향상을 가져올 수 있습니다. 지능의 폭발기가 끝날 무렵에는 인간보다 훨씬 더 똑똑한 AI 시스템을 갖출 수 있을 것입니다.

​

자동화된 AI 연구는 인간이 10년 동안 이룬 알고리즘의 발전을 1년 이내로 압축할 수 있을 것입니다. 미취학 아동에서 똑똑한 고등학생 수준으로 도약해온 GPT-2 → GPT-4의 혁신처럼, AI 연구원이나 엔지니어만큼 똑똑해진 AGI를 다시 한 번 같은 수준으로 도약시키는 것이 될 겁니다. 제한적인 컴퓨팅, 인간으로부터 피드백을 받아야 한다, 알고리즘의 발전은 더 어려워질 것이다 등 그럴듯하게 예상 가능한 병목현상들이 있지만, 알고리즘 발전속도를 늦추기엔 충분하지 않다고 생각합니다.

​

머지않아 우리는 인간보다 훨씬 더 똑똑하고, 우리가 이해할 수 없는 새롭고 창의적이며 복잡한 행동을 할 수 있는 초지능 시스템, 심지어 수십억 개의 작은 문명을 손에 쥘 수도 있습니다. 그 힘 또한 엄청날 것입니다. 초지능을 다른 분야의 R&D에 적용하면 머신러닝 연구를 넘어 로봇공학 문제를 풀고, 다른 과학기술과 산업적으로도 폭발적인 발전을 이룰 수 있을 것입니다. 초지능은 군사적으로도 우위를 차지하는 방법일 것이며 전례 없는 파괴력을 발휘할 수 있을 것입니다. 우리는 인류 역사상 가장 격렬하고 불안정한 순간에 직면하게 될 것입니다.

AI 연구를 자동화하다

Automating AI research

​

모든 것을 자동화할 필요가 없습니다. AI 연구만 자동화하면 됩니다. 인공지능의 영향력이 커지지 않을 거라는 반대의견은 주로 AI가 모든 일을 하지는 못할 거라는 주장입니다. 그러나 AI 연구원과 엔지니어의 업무는 코드기반으로 완전히 가상으로 수행할 수 있으므로 병목현상에 부딪히지 않습니다. *컴퓨팅에 의해 제한되겠지만 이 부분은 이후에 언급하겠습니다.* AI 연구원의 업무는 크게 보면 머신러닝 논문을 읽고 새로운 아이디어를 떠올리고, 그 아이디어를 테스트하는 실험을 구현해보고, 결과를 해석하고 반복하는 매우 간단한 일입니다. 이 모든 과정은 2027년 말에 도달할 지능 수준에서 쉽게 자동화할 수 있는 영역입니다.

​

자동화된 AI 연구원은 수백만 개의 논문을 인간의 10배 이상 속도로 빠르게 읽고 해석할 수 있을 것입니다. 2027년에는 수천만 개의 GPU를 가질 것입니다. 훈련용 클러스터만 해도 지금보다 3배 더 커질 것인데 이에 비해 추론용 클러스터는 훨씬 더 커져야(much larger still) 합니다.

​

자동화된 AI 연구로 인한 OOMs 개선에는 인간이 분당 100개의 토큰을 '생각'한다는 가정을 비롯해 프론티어 모델의 토큰당 추론비용 추세, 친칠라 스케일링 법칙(Chinchilla scaling laws)을 고려하는 등 몇 가지 가정이 들어가있습니다.

​

자동화된 AI 연구원은 곧 인간보다 더 빠른 속도로 연구할 수 있게 될 겁니다.

중요한 건 자동화된 AI 연구원이 개발한 첫 알고리즘 혁신은 10배~100배 속도향상을 가져다 줄 거라 예상된다는 점입니다. 제미나이 1.5 플래시(Gemini 1.5 Flash)는 이제 GPT-4보다 ~10배 빠릅니다. 1년 전 GPT-4가 보인 추론 벤치마크 결과값과 유사한 성능을 내기 시작하고 있습니다. 이는 현재 수백 명의 인간 연구자가 1년 만에 달성할 수 있는 알고리즘 속도향상의 예시입니다. AI 연구원은 이를 매우 빠르게 찾을 수 있을 겁니다.

​

자동화로 첫 알고리즘을 찾는다면 이제 1억 명의 연구원(GPU)이 각각 인간 100배 속도로 작업할 것으로 예상됩니다. 하나의 연구원은 각각 며칠 안에 인간 연구원이 했던 1년치의 연구를 할 수 있을 것이며, 연구량 증가의 효과는 엄청날 것입니다. 그 결과 알고리즘 발전의 기존 추세는 드라마틱하게 가속화되어 10년간 일어날 발전이 1년간 일어나므로 매년 5 OOMs(0.5 OOMs = 3배 개선, 1 OOM = 10배 개선, 2 OOM = 100배 개선, 3 OOM 1,000배 개선... 5 OOM = 10만배 개선)씩 개선될 수 있습니다.

​

자동화라는 이점을 제외하고도 인간 연구원에 비해 몇 가지 이점을 갖습니다.

그들은 지금까지 작성된 모든 머신러닝 논문을 읽을 수 있고, 실험실에서 진행했던 모든 이전 실험을 테스트해볼 수 있으며, 동시에 훈련하고, 수천 년에 달하는 경험을 빠르게 축적할 수 있습니다. 인간보다 머신러닝에 대해 더 깊은 직관을 가질 수 있음을 의미합니다.

그들은 수백만 줄의 복잡한 코드를 쉽게 작성하고 전체 코드베이스를 짜깁기로 다루는 것이 아닌 컨텍스트에 맞게 유지하면서 모든 코드별로 버그와 최적화 여지가 있는지 확인할 수 있습니다. 코딩 업무의 모든 면에서 뛰어난 능력을 낼 것을 의미합니다.

그들을 개별적으로 교육할 필요가 없습니다. 1억 명의 신규 AI/ML 연구원을 교육하고 실전에 투입하는 건 매우 어렵습니다. 하지만 하나를 제대로 가르치고 투입한 다음 복제본​을 만들 수 있습니다. 사람에게 발생하는 정치적인 갈등, 문화적인 적응이 필요없으며 밤낮으로 집중하며 일할 것입니다.

그들은 서로 배운 것을 공유할 수 있어 훨씬 더 효율적인 협업과 조정이 가능합니다.

​

밤낮없이 일하는 1억 명의 알렉 래드포드(Alec Radford, 오픈AI GPT의 핵심 연구원/논문)를 상상해보세요. 오픈AI에서 일했던 모든 AI 연구자들은 '알렉 래드포드가 10명만 있어도 대부분의 문제를 매우 신속하게 해결할 수 있을 것'이라 생각합니다. 뒤에 설명할 다양한 병목현상이 있지만 그럼에도 AGI가 나온 후 1년 이내에, AGI가 초지능으로 매우 빠르게 발전할 가능성이 높습니다.

가능한 병목 현상

Possible bottlenecks

​

자동화된 AI 연구원을 향해 가는 과정에서 폭발적인 지능 향상을 막는 몇 가지 실질적이고 그럴듯한 병목 현상들이 있습니다. 몇 가지 요약을 해보겠습니다.

제한된 컴퓨팅 Limited compute : AI 연구는 단지 사고실험이 아니라 실제 실험을 필요로 합니다. 경험적으로 어떤 기능이 좋은지 어떤 알고리즘이 더 나은지를 얻는 과정입니다. 자동화된 연구원의 생각속도가 백만 배 빨라진다고 해서 진행속도도 백만 배 빨라지는 게 아닙니다. 현재 AI 발전 속도라면 이 시기에도 컴퓨팅은 제한적일 것이고 제한된 실험용 컴퓨팅 할당으로 인해 병목이 발생할 것이기 때문입니다. 우선 AI 연구원은 실행하기에 적합한 실험을 판단하고 무엇이 중요한지를 파악하는데 수백 년에 달하는 엔지니어 시간단위를 소비할 수 있습니다. 이에 대해서는 아래에 조금 더 자세히 설명하겠습니다.

자동화를 위한 롱테일 문제 Long tail : 경제학의 고전적인 교훈(롱테일)은 어떤 것의 70%를 자동화할 때 약간의 이익을 얻지만 나머지 30%에서 병목이 발생한다는 것입니다. 완전 자동화를 이루지 못하는 경우 병목이 발생하고 알고리즘 발전속도를 상대적으로 느리게 만들 수 있습니다. AI 연구원의 마지막 10% 작업이 특히 작업하기 어려울 수 있습니다. 다만 개인적인 경험으로 볼 때는 이 병목은 초지능 출현까지의 시간을 단지 몇 년 정도 지연시킬 정도라는 생각입니다. 2026/27 모델은 자동화된 AI 연구원의 프로토타입 수준이 될 것이며 → 다양한 문제에 대해서 익히고 추론속도를 높이고 꼬임을 해결하며 완전 자동화에 도달하려면 1~2년이 더 걸립니다. 2028/29년까지 우리는 10배 가속화를 달성할 수 있을 것이며 2030년쯤에는 초지능을 달성할 것입니다.

새로운 알고리즘 발견속도의 감소 Inherent limits to algorithmic progress : 알고리즘 효율성이 5 OOMs씩 좋아지는 건 근본적으로 불가능할까요? 저는 그렇게 생각하지 않습니다. 어느 수준에 다다르면 상한선이 있겠지만 우리는 지난 10년 동안 5 OOMs를 달성했으므로, 앞으로 10년간은 유효할 거라 예상해야 합리적일 것입니다. 보다 직접적으로 말씀드리자면 현재의 아키텍처와 훈련용 알고리즘은 아직 매우 초보적인 수준입니다. 훨씬 더 효율적인 방식이 가능할 여지가 많습니다.

제한된 컴퓨팅

Limited compute

​

알고리즘을 발전시키기 위한 함수에는 연구자의 노력, 실험을 위한 컴퓨팅이라는 상호보완적 두 요소가 포함됩니다. 수백만 명에 달하는 자동화된 AI 연구원들이 연구하는 속도가 인간보다 훨씬 빠를 것이므로, 이들은 실험용 컴퓨팅 작업이 끝나기까지 기다리는 시간이 더 길 수도 있습니다. 그러나 1억 명의 알렉 래드포드가 있다고 한다면 실험용 컴퓨팅의 생산성도 증가시킬 것이라 생각합니다. 그리고 몇 가지 생각을 확장해보겠습니다.

더 적은 컴퓨팅으로도 할 수 있는 게 많습니다. 대부분의 AI 연구는 소규모로 테스트한 뒤 확장해가면서 추정하는 것입니다. 많은 주요 연구논문은 매우 적은 양의 컴퓨팅으로 이뤄졌습니다. 예를 들어 트랜스포머(Transformer, Google Brain 2017)는 며칠 동안 단 8개의 GPU로 훈련됐습니다. 향후 4년 동안 최대 5 OOMs의 확장이 이뤄질 것이므로, 향후 자동화된 AI 연구원은 훈련용 클러스터에서 1년에 10만 개 이상의 GPT-4 스케일의 실험을 할 수 있고 GPT-3 스케일의 실험은 수천만 개 이상 할 수 있습니다. 현장에서는 테스트할 수 있는 획기적인 아키텍처가 많지만 못하는 것도 많습니다.

컴퓨팅 효율성을 올리면 더 많은 실험을 할 수 있습니다. 이전 글에서 동등한 수학 벤치마크("MATH")에 도달하기 위한 추론비용이 2년 만에 1,000배 가까이 저렴해진 것, 인간 연구원들의 알고리즘 발전으로 추론성능이 10배 좋아진 것을 말씀드렸습니다. 자동화된 AI 연구원은 새로운 머신러닝 접근법에 대해 100배 더 많은 실험을 할 수 있게 될 겁니다. 거대모델이 출시된 후 비슷한 성능을 가진 더 작은 모델을 더 빠르게 만들 수 있을 것(e.g. GPT-4 대비 1년 만에 100배 가까이 저렴해진 제미나이 플래시)입니다. 예를 들어 모든 GPU의 가동률을 더 올리기 위해 훨씬 더 나은 분산 훈련체계를 빠르게 개발할 수도 있습니다. 훈련 효율성이 1 OOM씩 향상될 때마다, 실험을 위한 컴퓨팅도 1 OOM씩 더 증가한다는 의미입니다.

훨씬 더 효율적인 연구활동이 가능합니다. 인간 연구원이 내는 비효율은 생각보다 많습니다. 첫 번째 시도에서 버그 없이 작동한다는 건 어렵고, 실험을 선택할 때 어떤 실험을 선택하느냐도 다릅니다. 1,000명에 해당하는 AI 연구원이 인간 연구원들이 코드를 실험하려고 할 때 시뮬레이션을 해준다고 상상해보세요. 오픈AI 연구실 동료들에게 물어본 결과 버그를 없애고, 첫 시도에서 제대로 작동하고, 상대적으로 가치가 높은 실험만 할 수 있다면 대부분의 프로젝트에서 3~10배의 컴퓨팅을 쉽게 절약할 수 있을 거라고 말했습니다.

훨씬 더 나은 직관을 가질 수 있습니다. 최근 오픈AI 인턴과 얘기해봤습니다. 지난 몇 달 동안의 실행하고 싶은 많은 실험을 제안했다고 말했는데, 그들의 선임연구원은 결과를 미리 예측할 수 있기 때문에 그 실험은 할 필요가 없는 실험이라고 말했습니다. 선임 연구원은 수년간 모델을 가지고 무작위로 실험해보면서 어떤 아이디어가 효과 있을지, 없을지 직관적으로 알고 있습니다. 우리의 AI 연구원도 비슷한 것을 얻을 수 있습니다. 다만 초인적인 직관을 얻습니다. 머신러닝 논문 전체를 읽고, 모든 실험결과로부터 얻은 교훈을 서로 공유하며, 그것에 대해 며칠 동안 깊게 생각하고, 예측하도록 훈련할 수 있습니다.

머신러닝 실험 결과를 담은 논문들은 수백만 개가 있습니다. AI 연구원이 할 일 첫 번째는 대규모 실험에 대해서 1% 훈련해보거나 작은 모델로 훈련해본 뒤 → 대규모 모델로 실험했을 때 이것이 성공적일지 아닐지를 예측하는 강력한 직관을 구축하는 일이 될 겁니다.

"Yolo Run" : 오픈AI 개발자 중 일부는 엄청난 직관을 갖고 있어서 하이퍼파라미터를 설정하고, 모델에서 어떤 부분이 중요한지를 알고 있고, 잠재적인 문제는 무엇이 생길지를 예상할 수 있습니다. 이를 Yolo Run이라 부릅니다. 오픈AI 내에서도 일반적인 연구원들은 한 번에 하나씩 고쳐가면서 어떤 게 좋은지 테스트해봐야하지만 Yolo Run이 가능한 연구원들은 10~100명이 할 분량의 연구를 할 수 있습니다.

​

컴퓨팅 병목현상은 연구자 수가 백만 배 증가한다고 해서 연구속도가 백만 배 그대로 빨라지는 게 아닐 수 있음을 말합니다. 하룻밤 사이 지능이 폭발적으로 증가하지 않는 이유입니다. 그러나 자동화된 AI 연구원은 인간 연구원에 비해 엄청난 이점을 갖고 있으므로 최소 10배는 컴퓨팅 효율성을 높인다고 봐야 합니다. 따라서 알고리즘의 발전 속도가 10배 빨라진다는 가정은 매우 그럴듯한 가정입니다.

​

*코멘트 → "여기 서 있으면 어떤 느낌이 드나요?(What does it feel like to stand here?)" 2015년 Tim Urban

​

AGI의 지능을 활용하는 것은 처음에는 자동화된 AI 연구원을 위해서 쓰일 겁니다. 그리고 지능 폭발로 인한 진전은 과학, 기술, 경제 모든 영역에 적용될 것입니다. 수년 뒤를 말하는 것이니 오차는 매우 큽니다. 그럼에도 불구하고 어느 정도 속도로 가느냐입니다. 자동화된 AI 연구원이라는 초지능을 얻고나면 이를 다양한 분야의 R&D에 적용할 수 있고 지능 폭발의 규모가 커질 것으로 기대합니다.

로봇공학부터 해결할 것입니다.​ 초지능에 이르면 순전히 지능상태로만 오랫동안 머물지 않을 것입니다. 로봇이 제대로 작동하기 위해 현재 필요한 건 하드웨어적 발전이 아닌 머신러닝 알고리즘 문제입니다. 인간 설계자가 인간 노동자를 쓰던 공장에서 → AI 설계자가 인간 노동자를 쓰는 공장으로 → AI 설계자가 로봇 노동자를 쓰는 공장으로 바뀔 것입니다.

과학기술의 발전을 획기적으로 가속화할 것입니다.​ 아인슈타인 혼자서는 신경망을 만들고 반도체 산업을 건설할 수 없습니다. 하지만 10억 명에 해당하는 초지능 과학자, 엔지니어, 기술자, 로봇은 몇 년 안에 많은 분야에서 놀라운 발전을 이룰 것입니다. AI 기반으로 칩 설계를 하는 사례는 여기에 담겨있습니다. 20세기 동안 벌어진 기술 발전을 10년 미만으로 압축한다고 상상해보세요. 몇 년 안에 사람이 하늘 위를 날기 시작하고 얼마 지나지 않아 비행기를 만들 수 있으며, 달 위에 사람이 가고 얼마 지나지 않아 ICBM을 만들 수 있을 것입니다.

*코멘트 → 성장 트렌드의 변화는 이전에도 있던 일입니다. 문명이 수렵에서 농업으로, 과학과 상업으로, 산업시대로 접어들면서 그때마다 세계 경제성장속도는 가속화됐습니다. 초지능은 성장 트렌드의 변화를 만드는 또 다른 시점일 수도 있습니다. 로빈 핸슨의 <Long-Term Growth As A Sequence of Exponential Modes> 논문을 토대로 했습니다.

​

경제생산성의 폭발. 많은 영역에서 인간 노동력을 자동화하는 것이 일어난다면 경제성장은 드라마틱하게 가속화됩니다. 경제성장의 근본적인 변화일 것이며, 크게 볼 때의 인류 역사 트렌드와도 비슷할 것입니다. 경제성장모델에 대한 연구에서 말하듯(#1, #2, #3) 연간 30% 이상의 경제성장률을 볼 수도 있으며, 수년 간 경제가 몇 배 성장하는 것도 생각해볼 수 있습니다. 사회적 마찰이 발생할 수밖에 없는 분야입니다. 규제가 늘어나며 변호사와 의사는 여전히 인간의 인지를 필요로 할 수도 있고, 누군가 밤낮 없이 돌아가는 로봇 공장에 모래를 던질 수도 있습니다.

압도적인 군사적 우위를 달성합니다. 초인적인 해킹으로 적의 군대를 비활성화할 수 있는 시대가 옵니다. 군사력과 기술진보는 항상 역사적으로 긴밀하게 연결되어 있었습니다. 엄청나게 빠른 기술 진보는 군사 혁명을 일으킵니다. 드론 떼와 로봇 군대는 시작에 불과합니다, 새로운 대량살상무기와 미사일 방어체계, 아직 상상할 수 없는 것에 이르기까지 완전히 새로운 종류의 무기를 생각해야 합니다. 초지능 시대 이후와 이전의 무기혁신은 마치 현재 미군이 19세기 말 총검 여단과 싸우는 것 같아보일 겁니다.

정부를 전복시킬 수 있습니다. 초지능을 통제하는 사람은 초지능을 갖지 못한 세력으로부터 권력통제권을 가질 가능성이 높습니다. 로봇이 없어도 초지능을 달성한 작은 새로운 문명은 시민, 선거, 텔레비전 등 대중선동 체계를 해킹하고, 장군과 유권자를 설득할 가장 우수한 명분을 들고나오며, 경제적으로 국가를 압도할 효율을 가지고, 새로운 생물학 무기를 설계한 다음 인간에게 비트코인으로 팔 수도 있을 것입니다. 1500년대 초, 코르테스와 약 500명의 스페인 사람들은 수백만 명의 아즈텍 제국을 정복했습니다. 피사로와 300명의 스페인 사람은 수백만 명의 잉카 제국을 정복했습니다. 알폰소와 약 1,000명의 포르투갈인이 인도양을 정복했습니다. 신과 같은 힘이 아니어도 무기체계의 기술적 우위, 전략적이고도 외교적인 지능적 우위는 소수가 큰 힘을 무너뜨리는 것을 가능케 했습니다. 초지능도 비슷한 일을 할 수 있습니다.

​

*코멘트 → 초지능의 효과는 자동화된 AI 연구원으로부터 작게 시작됩니다. 다른 분야의 R&D로 적용하는 순서대로 폭발적인 성장은 확산되어 갈 것입니다.

​

2030년에 이 모든 일이 어떻게 전개될지를 정확히 예측하기란 어렵습니다.

그러나 적어도 한 가지는 분명합니다. 인류가 지금껏 직면한 가장 극단적인 상황에 빠져들 것이라는 점입니다. AI는 1년 마다 발전할 것이고 원시적인 지능수준으로 보아도 인류가 가진 교훈보다 많은 것을 얻을 것입니다. 이들을 받아들이는 일이 매우 빠르게 이뤄질 것이므로 통제력을 잃을 '가능성'이 실재한다고 생각합니다.

​

초지능 이후의 시대는 인류 역사상 가장 불안정하고, 긴장되고, 위험한 시기가 될 겁니다.

그리고 10년이 지나면 우리는 그 한가운데 놓이게 될 것입니다.

​

지능 폭발, 즉 초지능에 대한 생각은 종종 핵 연쇄반응의 가능성을 봤던 시대를 생각나게 합니다. 당시 과학자들은 원자폭탄이 일으킬 영향력에 대해서 논쟁했습니다. H. G. 웰스(H. G. Wells)는 1914년 소설에서 원자폭탄의 탄생을 예언했습니다. 1933년 실라르드(Leo Szilard)는 처음으로 연쇄반응이 일어날 수 있음을 아이디어로 제시했습니다. 누구도 이를 실험해보기 전이었습니다. 1938년 핵분열 실험이 진행되자 실라르드는 겁에 질려 비밀유지를 강력하게 주장했습니다. 그러나 몇몇 사람들이 폭탄의 가능성에 눈을 뜨기 시작했습니다. 아인슈타인은 연쇄반응을 생각하지 않았지만 실라르드를 마주하자 의미를 재빨리 알아차렸습니다. 그러나 당대 페르미, 보어 등 대부분의 과학자는 그 의미를 심각하게 받아들이기 보다 '보수적으로 추정'했습니다. 폭탄이 현실화되는 데는 불과 5년밖에 걸리지 않았습니다.

​

연쇄반응의 가능성에 다시 한 번 직면했습니다. 아마도 이것은 공격적인 가정처럼 들릴 것입니다. 그러나 AI 연구실 내의 수석 연구원들 중 많은 이들은 급속한 지능의 폭발이 놀랍도록 그럴듯한 시나리오라고 말합니다. AGI로 향하는 길을 본 자들입니다. 초지능은 가능합니다.

1조 달러 규모의 클러스터를 향해

Racing to the Trillion-Dollar Cluster

​

가장 놀라운 기술발전, 자본투하가 일어나고 있습니다. AI 매출이 빠르게 증가함에 따라 2030년이 오기 전에 GPU, 데이터센터 및 이를 위한 전력인프라 구축에 수조 달러가 투자될 것입니다. 미국 전력 생산량을 10% 늘리는 등 총동원이 강력해질 것입니다.

​

아시다시피, 나라 전체를 공장으로 바꾸지 않고서는 이룰 수 없다고 말씀드렸잖아요. 여러분은 이제 나라 전체를 공장으로 바꾸는 데 성공했습니다.

1944년, 맨하탄 프로젝트의 규모를 알게된 후 닐스 보어가 에드워드 텔러에게 전한 말

AGI를 향한 경쟁은 코드와 노트북에서만 벌어지지 않습니다. 미국이 가진 산업과 기업의 힘을 동원하는 경쟁입니다. 최근 실리콘밸리에서 봤던 다른 어떤 것과 비교되지 않을 만큼, AI는 대규모 산업동원입니다. 각각의 새로운 모델은 거대한 새 클러스터를 필요로 하고, 곧 거대한 새 발전소를 필요로 하며, 결국엔 거대한 새로운 칩 공장이 필요합니다.

관련된 투자는 엄청날 것입니다. 그런데 이면에서 이미 움직이고 있다는 게 중요합니다.

​

이번에는 숫자를 통해서 여러 가지를 말해보겠습니다.

AGI 이전이지만 충분히 강력한 AI를 개발할 수 있는 기업이 있습니다. AI 제품 매출이 빠르게 증가함에 따라 구글(Google)이나 마이크로소프트(Microsoft) 같은 회사는 2026년까지 ARR $100B에 도달하게 될 것으로 예상합니다. 이는 자본투자를 더 늘릴 것이며 전체 AI CAPEX가 늘어나는 요인이 될 수 있습니다. 2027년까지 연간 1조 달러의 시장을 생각합니다.

우리는 2028년에 하나의 모델을 훈련하기 위해 $100B를 필요로 하는 거대 클러스터로 향하는 길에 있습니다. 각 클러스터는 미국의 중소 주와 같고, 국제우주정거장보다 더 많은 전력을 소비하게 될 것입니다.

2030년까지 우리는 미국 전력 생산량의 20%에 해당하는 전력을 필요로 하는 총 $1T 규모의 훈련용 클러스터로 향할 것입니다. 수조 달러의 CAPEX로 인해 연간 수억 개의 GPU가 생산될 것을 생각합니다.

​

엔비디아의 데이터센터 매출은 연간 $14B에서 이제 $90B로 폭발적으로 증가해 전 세계를 놀라게 했습니다. 그러나 그것은 아직 시작에 불과합니다.

​

*코멘트 → 오픈AI 초정렬팀 연구원이었던 레오폴드 아셴브레너(Leopold Aschenbrenner)의 개인적인 추정이 많은 글입니다. 따라서 투자의견으로 삼으시기보다는 '이러한 가능성도 있구나'를 생각하시면 좋을 거 같습니다.*

훈련용 컴퓨팅

Training compute

​

​

훈련용 클러스터 계산을 위해 참고된 자료

​

연도 : 오픈AI GPT-4 보고서에 GPT-4의 훈련이 2022년 8월에 끝났다고 적혀있습니다. 이후에 연간 ~0.5OOMs의 추세를 가정한 것입니다.

H100 기준 컴퓨팅 규모 H100s-equivalent : SemiAnalysis​와 JP모건은 GPT-4가 2.5만개의 A100에서 훈련됐으며 H100의 성능은 A100에 비해 2~3배 좋으므로 H100으로 바꿔서 계산하였습니다.

투자비용 : 종종 사람들은 GPU 임대비용(Rental cost of the GPUs)만 사용해서 "GPT-4 훈련에 1억 달러가 들었다"는 말을 인용하곤 합니다. 하지만 이건 기업 입장에서 지불하는 실제 비용과는 약간 다릅니다. 세계에서 가장 좋은 AI를 얻기 위해서, 세계에서 가장 큰 클러스터를 짓고자 한다면 3개월만 임대할 순 없기 때문입니다. 그리고 단순 훈련하는 것 이상의 컴퓨팅이 필요합니다. 실험, 실패한 실험들, 기타 모델 테스트 같은 비용들을 포함해야 합니다.

GPT-4 클러스터는 2.5만개의 A100입니다.

2~3년 동안 $1/A100-hour를 사용한다고 가정하면 $500M이 추정됩니다.

엔비디아 GPU는 클러스터 총 비용의 절반입니다.

나머지는 전력, 데이터센터 시스템, 냉각, 네트워킹, 유지보수 인력에 들어가는 비용입니다.

전력 : H100은 700W이지만 데이터센터 단위로는 전력을 필요로 하는 것이 많습니다. 냉각이나 네트워킹, 스토리지 등입니다. SemiAnalysis는 H100당 ~1,400W가 필요할 거라 추정합니다. 칩의 FLOP/Watt당 효율이 올라갈 수 있겠지만 이러한 이점은 상대적으로 느리게 진행됩니다. 앞으로는 전력비용이 중요한 변수이므로 칩 설계는 FLOP/Watt를 기준으로 특화될 것입니다. 그럼에도 불구하고 냉각, 네트워킹, 스토리지를 위한 전력수요는 계속해서 필요합니다. 저는 H100당 1,000W가 필요하다고 가정했습니다.

참고 : 1년 동안 계속해서 실행되는 10GW 클러스터는 87.6TWh를 소비합니다. 오레곤 주는 연간 27TWh를 소비하고 있고, 워싱턴 주는 연간 92TWh를 소비합니다. 100GW 클러스터는 연간 876TWh를 소비하며 미국의 연간 전력 총 생산량은 약 4,250TWh이므로 20.6%를 차지합니다.

​

FLOP/$는 엔비디아 세대마다 다소 개선되지만 뉴스에 나오는 것처럼 크게 개선되지는 않습니다. 예를 들어 H100 → B100 전환의 실제 효과는 FLOP/$ 기준 1.5배일 가능성이 높습니다. 그러나 이정도 성능 향상은 업계에서 엄청난 도약입니다. 실제로 Blackwell은 이전 제품들에 비해서 예외적으로 좋은 제품입니다. 엔비디아가 경쟁구도 자체를 부수고 싶었기 때문입니다. A100 → H100 전환은 FLOP/$ 개선정도가 크지 않았습니다. FP8 효과를 제외하면 칩은 2배 보다 약간 더 좋고 가격은 2배 높았습니다. FP8 발전을 포함하면 1.5배 개선된 효과였습니다.

​

가격이 낮아지면 FLOP/$가 추가로 개선될 수 있겠지만 GPU가 상당한 규모로 수요에 비해 부족할 것이라 생각하므로 비용이 더 높아질 여지도 있습니다. 엔비디아의 GPU가 이미 AI에 상당히 특화되어 있다는 점을 고려할 때(Transformer 특화 & FP8/FP4 정밀도까지 도달) FLOP/$ 기준 성능개선을 크게 낼 수 있을지 확실하지 않습니다. 메모리나 GPU를 서로 연결하는 구성요소들은 더 느리게 발전하고 있습니다. Epoch AI의 데이터를 보면 상위 머신러닝 GPU의 FLOP/$는 지난 10년 동안 10배 미만으로 좋아졌습니다.

​

지금처럼 FLOP/$가 연간 35%씩 향상된다고 가정할 때 4 OOMs 훈련용 클러스터를 기준으로 $1T의 비용이 들어갑니다. FLOP/$가 더 빨리 개선될 가능성도 있지만 데이터센터 CAPEX에 드는 비용도 더 비싸질 것을 생각해야 합니다. 감가상각된 발전소를 구매하는 것이 아니라 새로운 전력원을 조달하는 것을 미리 수행해야 하기 때문입니다. 어쨌거나 이는 매우 대략적인 숫자입니다.

실제로 이런 일들이 일어나고 있습니다.

It appears to be happening.

​

메타의 마크 저커버그는 35만개의 H100을 구매했습니다. 아마존은 원자력 발전소 옆에 1GW 규모의 데이터센터 캠퍼스를 계약했습니다. 루머에 따르면 2026년에 지어질 목표로 1GW, 140만개의 H100급에 해당하는 클러스터 캠퍼스가 쿠웨이트에 지어지고 있다고 합니다. 언론을 통해 마이크로소프트와 오픈AI가 2028년 $100B 규모의 클러스터를 개발할 거란 소문이 보도됐습니다. 이정도 비용이면 국제우주정거장(총 비용 $150B)과 비슷한 규모가 됩니다.

​

그리고 현재 가장 불확실성이 높은 영역은 기업들의 지출의지가 아닌 훈련용 클러스터를 위한 새로운 인프라입니다. 10GW를 어디서 찾을 수 있을지에 대한 이야기입니다. 공상과학소설과도 같은 이야기가 나오기 시작합니다. 새로운 $100B 클러스터를 짓기 위한 10GW 규모의 전력, 토지, 데이터센터 건설을 생각해야 합니다. GPU를 구입하는 것은 1년이 걸린다고 해도 전체 인프라의 리드타임은 훨씬 더 길기 때문입니다.

​

AMD는 2027년까지 AI 가속기 시장이 $400B 규모가 될 수 있다고 언급했습니다. 총 AI CAPEX는 $700B 이상임을 의미합니다. 실제로 제 수치와 거의 비슷한 규모입니다. 어떤 식으로건 대규모 확장이 일어나고 있습니다.

​

GPU가 있는 단순한 데이터센터를 벗어나 이제 수백 개의 발전소를 상상해야 합니다. 국가적인 컨소시엄이 필요할 것입니다. AGI는 $100B 이하의 클러스터로도 달성할 가능성이 높다고 생각합니다. $1T 클러스터는 초지능을 훈련하거나 추론용으로 쓰기 위한 것이거나, AGI를 다양한 영역에 적용하고 있는 상황일 수 있습니다. AGI로 가는 길은 예상보다 어려울 겁니다.

그럴 돈이 있을까요?

Will it be done? Can it be done?

​

여기 언급된 투자규모들은 지금 볼 때 다소 공상과학소설 속 숫자 같아 보일 겁니다. 하지만 수요와 공급 모두 이 트렌드로 가고 있음을 말하고 있습니다. 기업의 매출은 투자를 정당화할 수준을 유지하고 있고, 앞으로 어디까지 쓰일지 모르는 범용기술에 대한 투자는 전례가 없는 기회입니다. 전력시장과 칩 시장도 바뀌고 있습니다.

​

기업은 경제적인 수익으로 회수할 수 있다고 생각하면 대규모 AI 투자를 집행할 것입니다.

​

오픈AI는 2023년 8월 $1B의 매출을 올렸고 → 2024년 2월에는 $2B를 넘겼으며 → 2024년 6월에는 $3.4B를 넘겼습니다. 6개월마다 매출이 2배가 되고 있습니다. 이러한 추세가 유지된다면 차세대 모델에 대해 가격을 높게 받지 않더라도 2024년 말/2025년 초까지 ARR이 $10B에 달할 것입니다. 한 추정치에 따르면 마이크로소프트는 AI로 이미 매출 $5B를 벌어들였습니다.

​

AI 투자를 10배 키울 때마다 필요한 수준의 매출성장이 나오고 있습니다. GPT-4 클러스터 훈련비용 $500M은 오픈AI와 마이크로소프트의 수십억 달러 ARR로 이미 회수되었으며, 현재 구축 중인 $Billions 단위의 2024년급 훈련용 클러스터도 쉽게 상쇄될 것입니다. 클러스터 집행을 계획하면 수년이 걸립니다. GPU 클러스터로 벌어들일 수익이 계속해서 실현된다면 다음 번에도 통할 거라는 베팅에 더 많은 자본이 투입될 것입니다.

​

​

제가 생각하는 AI 매출의 주요 이정표는 빅테크들이 언제 AI를 통해 $100B 매출을 달성하는가입니다. 이들은 현재 $100~300B를 벌고 있는 기업입니다. 따라서 $100B 규모는 사업규모 전체를 생각할 때에도 매우 중요한 부분이 될 것입니다. 2025년 초에 AI로 $10B를 번다고 가정하고, 6개월 마다 2배씩 증가한다고 가정하면 2026년 중반이면 $100B 규모의 비즈니스가 나옵니다.

​

무리하는 것처럼 보일 수도 있지만, 엄청난 상상이 필요하진 않아 보입니다. 마이크로소프트 오피스 365 사용자는 3억 5천만 명입니다. 이들 중 3분의 1이 AI 기능에 대해 월 $100를 지불하게 하는 게임입니다. 이를 정당화할 강력한 모델이 향후 몇 년 내로 매우 가능할 거라 생각합니다.

​

영향을 과소평가하기 어렵습니다. AI는 미국을 상징하는 최대 기업들의 가장 큰 매출성장동력이자 가장 큰 성장사업부가 될 것입니다. 매출성장에 대한 예측은 급상승할 수 있고 주식시장은 함께 따라갈 것입니다. 곧 첫 번째 $10T AI 기업을 보게 될 수도 있습니다. 이 시점에 빅테크 기업들은 AI 확장을 위해 수천억 원을 투자할 것이고 우리는 그쯤 최초로 수천억 달러 규모의 회사채 매각을 볼 수도 있습니다.

역사적 선례

Historical precedents

​

*코멘트 → 미국은 제2차 세계대전 동안 1942~1947년까지 극비로 맨해튼 프로젝트를 시행했습니다. 프로젝트는 뉴욕의 맨해튼이지만 실제로는 미국 전역에 나뉘어서 진행된 초거대프로젝트입니다. 약 30군데의 시설에서 연구를 진행했습니다. 예를 들어 핵무기 조립과 연구는 로스 앨러모스에서 했지만, 우라늄 농축에 대해서는 테네시 주에서, 핵연료 재처리는 워싱턴 주에서, 핵개발의 이론적인 완성은 UC 버클리에서, 실험에 필요한 광물은 캐나다의 노스웨스트 준주에 있는 광산에서 가져왔습니다.

*코멘트 → 산업의 트렌드가 바뀌는 흐름의 사례 중 대표적으로 꼽히는 것은 1830~1900년대 초까지 진행됐던 영국의 민간철도 투자였습니다. 미국에서도 철도투자가 최고 하이테크 산업일 때가 있었죠. 120년 전 1900년대 미국에서 철도가 깔리던 시절에는 전체 주식시장에서 60%에 가까운 시가총액이 철도산업(Rail)에서 나왔습니다.

​

2027년을 기점으로 연간 AI 투자액이 $1T에 달한다는 건 너무 터무니없는 것 같아보일 수 있습니다. 하지만 역사적인 다른 사례들을 함께 볼만한 시기입니다. 전례가 없는 것은 아니기 때문입니다.

맨해튼과 아폴로 프로그램은 GDP의 0.4%, 오늘날로 계산하면 연간 $100B를 투자했습니다. 연간 $1T 규모의 AI 투자는 GDP의 약 3%에 해당합니다.

1996년부터 2001년까지 통신업체들은 인터넷 통신망 구축에 현재 가치로 약 $1T를 투자했습니다.

1841년부터 1850년까지 영국의 민간철도 총 투자규모는 당시 영국 GDP의 약 40%에 달했습니다. 미국 GDP와 비슷한 비율이라면 10년 동안 $11T에 해당하는 규모입니다.

친환경 전환을 위해 이미 수조 달러가 쓰이고 있습니다.

빠르게 성장하는 경제는 종종 GDP 대비 높은 비율을 투자에 썼습니다. 예를 들어 중국은 20년 동안 GDP의 40% 이상을 투자에 썼습니다. 마찬가지로 미국 GDP를 고려하면 연간 $11T 규모에 해당합니다.

역사적으로 가장 긴박했던 국가안보상황들을 살펴보면, 전시상황에는 국가가 GDP 대비 상당한 부분을 차입금으로 충당하는 경우가 많았습니다. 제1차 세계대전 중 영국, 프랑스, 독일은 GDP의 100% 이상을 빌려서 전쟁에 썼고, 미국은 20% 이상을 빌려서 썼습니다. 제2차 세계대전 동안 영국과 일본은 GDP의 100% 이상을 빌렸고, 미국은 GDP의 60% 이상을 빌려서 썼습니다. 현재 $17T에 해당하는 규모입니다.

전력

Power

*코멘트 → 미국 전력생산량 추세를 AI용 전력수요의 추정치와 비교해봅니다.

​

공급분야에서 가장 큰 제약은 전력일 겁니다. 이미 2026년 규모 클러스터인 1GW 단위나 특히 2028년 클러스터용 10GW에서 매우 병목이 될 가능성이 높습니다. 전력계약은 일반적으로 장기고정계약입니다. 새로운 GW급 원자력 발전소 건설까지는 10년이 걸립니다. 나중에 시간이 흐르면 GW급 전력을 공급받기 위해 알루미늄 제련회사를 인수할 수도 있을 겁니다. 공장은 스크랩하고 건물을 데이터센터로 바꾸는 것입니다.

​

미국의 총 전력발전량은 지난 10년 동안 5%도 채 증가하지 않았습니다. 유틸리티 기업들은 이제 AI에 관심을 갖기 시작했습니다. 이제 업계는 향후 5년간 전력발전량이 2.6%만큼 상승하던 시나리오에서 4.7%로 추정하기 시작합니다. 그러나 앞으로 다가올 미래에 대해서는 가격을 제대로 책정하지 않았습니다. $1T 규모의 100GW 클러스터만으로 6년 안에 현재 미국 전력 생산량의 ~20%가 추가되어야 합니다. 추론용 컴퓨팅을 전혀 고려하지 않은 것입니다. 추론을 고려하면 수요는 몇 배 더 높아집니다.

​

대부분의 국가에서는 불가능한 일입니다.

그러나 미국은 가능합니다. 천연가스가 풍부하기 때문입니다.

​

10GW 클러스터용 전력을 공급하는 데 미국 천연가스 생산량의 몇 퍼센트만 할당하면 가능하며, 신속하게 완료할 수 있습니다.

100GW급 클러스터도 놀랍지만 가능합니다.

현재 Marcellus/Utica 셰일(펜실베이나)에서만 하루 360억 입방피트의 가스가 생산되고 있습니다. 가스터빈발전기를 통하면 지속적으로 150GW를 생산하기에 충분한 규모입니다. 그리고 복합화력발전소로 짓는다면 효율성이 더 높아지므로 250GW까지 공급 가능합니다.

100GW 클러스터에는 약 1,200개의 새로운 유정이 필요합니다. 각 굴착장비(Rig)는 매달 약 3개의 유정을 시추할 수 있습니다. 현재 Marcellus가 가진 굴착장비의 수가 40개이므로 1년 내 100GW에 해당하는 발전시설을 가동할 수 있습니다. 2019년에 굴착장비 수가 80개까지 있었으므로 40개 정도를 AI용으로만 쓴다고 해도 부담이 되지 않습니다.

미국의 천연가스 생산량은 10년 동안 2배 이상 증가했으며, 이러한 추세가 계속된다면 수조 달러 규모의 데이터센터에 전력을 공급할 수 있습니다.

더 어려운 부분은 충분한 발전기와 터빈을 만드는 일입니다. 사소한 일은 아니지만 100GW 천연가스 발전소에 $100B 자본을 투입할 수 있다면 가능할 듯 보입니다. 복합화력발전소는 약 2년이면 건설할 수 있으며 발전기는 이보다 짧은 시간에 만들 수 있습니다.

​

프로젝트 허가, 유틸리티 규제, 송전선에 대한 FERC 규제, NEPA 환경 검토로 인해 2~3년이면 해결될 일을 10년 이상 소비하고 있습니다. 우리에게는 그런 시간이 없습니다. 이를 실현하려면 새로운 차원의 결단력이 필요합니다. 전력 병목은 해결할 수 있고, 해결해야 하며, 해결할 것입니다.

AI 반도체

Chips

​

AI 공급병목을 생각할 때 사람들은 일반적으로 칩을 먼저 떠올립니다. 하지만 전력에 비하면 상대적으로 해결하기 쉬운 문제일 수 있습니다. AI 칩의 글로벌 생산량은 TSMC 선단공정 중 10% 미만입니다. AI가 TSMC 주문 중 더 많은 비중을 차지함에 따라 성장할 여지가 많습니다.

​

실제로 2024년 AI 칩은 이미 $100B 규모의 클러스터에 충분합니다. 물론 여기서 나온 모든 칩을 하나의 훈련용 클러스터로 연결한다는 전제입니다. 순수한 로직 팹 관점에서 보면 1년 동안 TSMC에서 생산되는 양은 이미 1조 달러 규모의 클러스터를 만들 수 있습니다. 마찬가지로 모든 칩을 하나의 훈련용 클러스터로 만든다는 전제입니다. 물론 현실을 고려해야 합니다. 따라서 2030년까지 총 AI 칩 수요를 생각하면, 5년 동안 TSMC의 대규모 신규 팹 확장 속도는 최소한 2배 더 빨라져야 할 것입니다.

​

로직 팹 자체는 괜찮더라도 CoWoS나 HBM은 AI GPU 공급의 주요 병목요소입니다.

AI에 특화되어 있는 칩을 만들어야 하는 만큼 캐파 자체가 충분하지 않기 때문입니다. 단기적으로는 더 많은 GPU를 생산하는 데 주요 병목요인일 것이며 향후 AI 칩 수요를 생각하면 더 큰 제약이 될 것입니다. 그럼에도 불구하고 이들은 확장하기가 '비교적' 쉽습니다. TSMC는 올해 CoWoS 생산을 대규모로 늘리기 위해 그린필드 팹(처음부터 완전히 새로운 시설 구축)을 구축했습니다.

​

​

새로운 TSMC의 기가팹의 CAPEX는 약 $20B이며, 한 달에 10만 개의 웨이퍼를 생산하는 규모입니다. 2030년까지 연간 수억 개의 AI GPU를 생산하는 수준을 만들기 위해서는, TSMC가 이러한 기가팹을 수십 개 지어야 하며 HBM, 고급 패키징, 네트워킹을 위한 팹들도 필요합니다. 강렬하지만 실행가능한 수치입니다. 아직 TSMC는 AI용 캐파 확장에 힘쓰고 있지 않습니다. AI 수요는 2028년까지 50% CAGR 선에서 증가할 거라고 보수적으로 추정하고 있습니다.

​

최근 미국정부는 대만사태에 대비한 보험으로 CHIPS Act.를 가동하여 더 많은 AI 칩 생산이 미국에서 이뤄지도록 노력하고 있습니다. 더 많은 AI 칩 생산이 미국에서 일어나는 것도 중요하지만, 미국에 실제 AGI를 훈련하고 추론시킬 수 있는 데이터센터를 갖는 것에 비해서는 덜 중요합니다. 해외에서 칩을 생산하는 것이 원자폭탄의 우라늄 매장지가 외국에 있는 것과 같다면, AGI 데이터센터가 해외에 생기는 것은 말그대로 핵무기가 해외에 있는 것과 같기 때문입니다. 개인적으로는 미국에 팹을 건설하면서 나오고 있는 지연과 병목현상을 생각하면 일본이나 한국 같은 민주주의 동맹국에게 더 많은 투자를 해야 할 것이라 생각합니다.

어떤 경로로 가건 기하급수적 성장이 시작됩니다.

In any caseㅡthe exponential is in full swing now.

​

'AGI'이라는 단어가 생소하던 과거에 저와 몇몇 동료들은 AGI로 향하는 길에 대한 이론적인 추세모델을 만들곤 했습니다. 당시 모델링을 해본 결과는 가상의 AGI가 깨어나는 "AI Wakeup" 순간이 있다는 것이었습니다. 전 세계가 이 모델이 얼마나 강력한지를 깨닫고 투자를 빠르게 늘리기 시작하면서 최대 규모의 훈련용 클러스터를 위해 GDP의 몇 %에 달하는 금액을 투자하는 상황을 생각했었습니다.

​

그때는 그게 멀게만 느껴졌는데, 이제 그 때가 왔습니다. 2023년 "AI Wakeup"의 순간이었습니다. 2023년 3월 우리는 화이트보드에 "THE TAKEOFF HAS STARTED(이륙이 시작됐다)"라고 적었습니다. 이제 가장 놀라운 기술-자본 가속이 시작됩니다.

​

G-forces에 대비하세요.

Brace for the G-forces.

​

다음 편에서 이어집니다