별의순간

그러나 적어도 한 가지는 분명합니다. 인류가 지금껏 직면한 가장 극단적인 상황에 빠져들 것이라는 점입니다. AI는 1년 마다 발전할 것이고 원시적인 지능수준으로 보아도 인류가 가진 교훈보다 많은 것을 얻을 것입니다. 이들을 받아들이는 일이 매우 빠르게 이뤄질 것이므로 통제력을 잃을 '가능성'이 실재한다고 생각합니다. ​ 초지능 이후의 시대는 인류 역사상 가장 불안정하고, 긴장되고, 위험한 시기가 될 겁니다. 그리고 10년이 지나면 우리는 그 한가운데 놓이게 될 것입니다. ​ 지능 폭발, 즉 초지능에 대한 생각은 종종 핵 연쇄반응의 가능성을 봤던 시대를 생각나게 합니다. 당시 과학자들은 원자폭탄이 일으킬 영향력에 대해서 논쟁했습니다. H. G. 웰스(H. G. Wells)는 1914년 소설에서 원자폭탄의 탄생을 예언했습니다. 1933년 실라르드(Leo Szilard)는 처음으로 연쇄반응이 일어날 수 있음을 아이디어로 제시했습니다. 누구도 이를 실험해보기 전이었습니다. 1938년 핵분열 실험이 진행되자 실라르드는 겁에 질려 비밀유지를 강력하게 주장했습니다. 그러나 몇몇 사람들이 폭탄의 가능성에 눈을 뜨기 시작했습니다. 아인슈타인은 연쇄반응을 생각하지 않았지만 실라르드를 마주하자 의미를 재빨리 알아차렸습니다. 그러나 당대 페르미, 보어 등 대부분의 과학자는 그 의미를 심각하게 받아들이기 보다 '보수적으로 추정'했습니다. 폭탄이 현실화되는 데는 불과 5년밖에 걸리지 않았습니다. ​ 연쇄반응의 가능성에 다시 한 번 직면했습니다. 아마도 이것은 공격적인 가정처럼 들릴 것입니다. 그러나 AI 연구실 내의 수석 연구원들 중 많은 이들은 급속한 지능의 폭발이 놀랍도록 그럴듯한 시나리오라고 말합니다. AGI로 향하는 길을 본 자들입니다. 초지능은 가능합니다. 1조 달러 규모의 클러스터를 향해 Racing to the Trillion-Dollar Cluster ​ 가장 놀라운 기술발전, 자본투하가 일어나고 있습니다. AI 매출이 빠르게 증가함에 따라 2030년이 오기 전에 GPU, 데이터센터 및 이를 위한 전력인프라 구축에 수조 달러가 투자될 것입니다. 미국 전력 생산량을 10% 늘리는 등 총동원이 강력해질 것입니다. ​ 아시다시피, 나라 전체를 공장으로 바꾸지 않고서는 이룰 수 없다고 말씀드렸잖아요. 여러분은 이제 나라 전체를 공장으로 바꾸는 데 성공했습니다. 1944년, 맨하탄 프로젝트의 규모를 알게된 후 닐스 보어가 에드워드 텔러에게 전한 말 AGI를 향한 경쟁은 코드와 노트북에서만 벌어지지 않습니다. 미국이 가진 산업과 기업의 힘을 동원하는 경쟁입니다. 최근 실리콘밸리에서 봤던 다른 어떤 것과 비교되지 않을 만큼, AI는 대규모 산업동원입니다. 각각의 새로운 모델은 거대한 새 클러스터를 필요로 하고, 곧 거대한 새 발전소를 필요로 하며, 결국엔 거대한 새로운 칩 공장이 필요합니다.

관련된 투자는 엄청날 것입니다. 그런데 이면에서 이미 움직이고 있다는 게 중요합니다. ​ 이번에는 숫자를 통해서 여러 가지를 말해보겠습니다. AGI 이전이지만 충분히 강력한 AI를 개발할 수 있는 기업이 있습니다. AI 제품 매출이 빠르게 증가함에 따라 구글(Google)이나 마이크로소프트(Microsoft) 같은 회사는 2026년까지 ARR $100B에 도달하게 될 것으로 예상합니다. 이는 자본투자를 더 늘릴 것이며 전체 AI CAPEX가 늘어나는 요인이 될 수 있습니다. 2027년까지 연간 1조 달러의 시장을 생각합니다. 우리는 2028년에 하나의 모델을 훈련하기 위해 $100B를 필요로 하는 거대 클러스터로 향하는 길에 있습니다. 각 클러스터는 미국의 중소 주와 같고, 국제우주정거장보다 더 많은 전력을 소비하게 될 것입니다. 2030년까지 우리는 미국 전력 생산량의 20%에 해당하는 전력을 필요로 하는 총 $1T 규모의 훈련용 클러스터로 향할 것입니다. 수조 달러의 CAPEX로 인해 연간 수억 개의 GPU가 생산될 것을 생각합니다. ​ 엔비디아의 데이터센터 매출은 연간 $14B에서 이제 $90B로 폭발적으로 증가해 전 세계를 놀라게 했습니다. 그러나 그것은 아직 시작에 불과합니다. ​ *코멘트 → 오픈AI 초정렬팀 연구원이었던 레오폴드 아셴브레너(Leopold Aschenbrenner)의 개인적인 추정이 많은 글입니다. 따라서 투자의견으로 삼으시기보다는 '이러한 가능성도 있구나'를 생각하시면 좋을 거 같습니다.* 훈련용 컴퓨팅 Training compute ​ ​ 훈련용 클러스터 계산을 위해 참고된 자료 ​ 연도 : 오픈AI GPT-4 보고서에 GPT-4의 훈련이 2022년 8월에 끝났다고 적혀있습니다. 이후에 연간 ~0.5OOMs의 추세를 가정한 것입니다. H100 기준 컴퓨팅 규모 H100s-equivalent : SemiAnalysis​와 JP모건은 GPT-4가 2.5만개의 A100에서 훈련됐으며 H100의 성능은 A100에 비해 2~3배 좋으므로 H100으로 바꿔서 계산하였습니다. 투자비용 : 종종 사람들은 GPU 임대비용(Rental cost of the GPUs)만 사용해서 "GPT-4 훈련에 1억 달러가 들었다"는 말을 인용하곤 합니다. 하지만 이건 기업 입장에서 지불하는 실제 비용과는 약간 다릅니다. 세계에서 가장 좋은 AI를 얻기 위해서, 세계에서 가장 큰 클러스터를 짓고자 한다면 3개월만 임대할 순 없기 때문입니다. 그리고 단순 훈련하는 것 이상의 컴퓨팅이 필요합니다. 실험, 실패한 실험들, 기타 모델 테스트 같은 비용들을 포함해야 합니다. GPT-4 클러스터는 2.5만개의 A100입니다. 2~3년 동안 $1/A100-hour를 사용한다고 가정하면 $500M이 추정됩니다. 엔비디아 GPU는 클러스터 총 비용의 절반입니다.

나머지는 전력, 데이터센터 시스템, 냉각, 네트워킹, 유지보수 인력에 들어가는 비용입니다. 전력 : H100은 700W이지만 데이터센터 단위로는 전력을 필요로 하는 것이 많습니다. 냉각이나 네트워킹, 스토리지 등입니다. SemiAnalysis는 H100당 ~1,400W가 필요할 거라 추정합니다. 칩의 FLOP/Watt당 효율이 올라갈 수 있겠지만 이러한 이점은 상대적으로 느리게 진행됩니다. 앞으로는 전력비용이 중요한 변수이므로 칩 설계는 FLOP/Watt를 기준으로 특화될 것입니다. 그럼에도 불구하고 냉각, 네트워킹, 스토리지를 위한 전력수요는 계속해서 필요합니다. 저는 H100당 1,000W가 필요하다고 가정했습니다. 참고 : 1년 동안 계속해서 실행되는 10GW 클러스터는 87.6TWh를 소비합니다. 오레곤 주는 연간 27TWh를 소비하고 있고, 워싱턴 주는 연간 92TWh를 소비합니다. 100GW 클러스터는 연간 876TWh를 소비하며 미국의 연간 전력 총 생산량은 약 4,250TWh이므로 20.6%를 차지합니다. ​ FLOP/$는 엔비디아 세대마다 다소 개선되지만 뉴스에 나오는 것처럼 크게 개선되지는 않습니다. 예를 들어 H100 → B100 전환의 실제 효과는 FLOP/$ 기준 1.5배일 가능성이 높습니다. 그러나 이정도 성능 향상은 업계에서 엄청난 도약입니다. 실제로 Blackwell은 이전 제품들에 비해서 예외적으로 좋은 제품입니다. 엔비디아가 경쟁구도 자체를 부수고 싶었기 때문입니다. A100 → H100 전환은 FLOP/$ 개선정도가 크지 않았습니다. FP8 효과를 제외하면 칩은 2배 보다 약간 더 좋고 가격은 2배 높았습니다. FP8 발전을 포함하면 1.5배 개선된 효과였습니다. ​ 가격이 낮아지면 FLOP/$가 추가로 개선될 수 있겠지만 GPU가 상당한 규모로 수요에 비해 부족할 것이라 생각하므로 비용이 더 높아질 여지도 있습니다. 엔비디아의 GPU가 이미 AI에 상당히 특화되어 있다는 점을 고려할 때(Transformer 특화 & FP8/FP4 정밀도까지 도달) FLOP/$ 기준 성능개선을 크게 낼 수 있을지 확실하지 않습니다. 메모리나 GPU를 서로 연결하는 구성요소들은 더 느리게 발전하고 있습니다. Epoch AI의 데이터를 보면 상위 머신러닝 GPU의 FLOP/$는 지난 10년 동안 10배 미만으로 좋아졌습니다. ​ 지금처럼 FLOP/$가 연간 35%씩 향상된다고 가정할 때 4 OOMs 훈련용 클러스터를 기준으로 $1T의 비용이 들어갑니다. FLOP/$가 더 빨리 개선될 가능성도 있지만 데이터센터 CAPEX에 드는 비용도 더 비싸질 것을 생각해야 합니다. 감가상각된 발전소를 구매하는 것이 아니라 새로운 전력원을 조달하는 것을 미리 수행해야 하기 때문입니다. 어쨌거나 이는 매우 대략적인 숫자입니다. 실제로 이런 일들이 일어나고 있습니다.

그러나 적어도 한 가지는 분명합니다. 인류가 지금껏 직면한 가장 극단적인 상황에 빠져들 것이라는 점입니다. AI는 1년 마다 발전할 것이고 원시적인 지능수준으로 보아도 인류가 가진 교훈보다 많은 것을 얻을 것입니다. 이들을 받아들이는 일이 매우 빠르게 이뤄질 것이므로 통제력을 잃을 '가능성'이 실재한다고 생각합니다. ​ 초지능 이후의 시대는 인류 역사상 가장 불안정하고, 긴장되고, 위험한 시기가 될 겁니다. 그리고 10년이 지나면 우리는 그 한가운데 놓이게 될 것입니다. ​ 지능 폭발, 즉 초지능에 대한 생각은 종종 핵 연쇄반응의 가능성을 봤던 시대를 생각나게 합니다. 당시 과학자들은 원자폭탄이 일으킬 영향력에 대해서 논쟁했습니다. H. G. 웰스(H. G. Wells)는 1914년 소설에서 원자폭탄의 탄생을 예언했습니다. 1933년 실라르드(Leo Szilard)는 처음으로 연쇄반응이 일어날 수 있음을 아이디어로 제시했습니다. 누구도 이를 실험해보기 전이었습니다. 1938년 핵분열 실험이 진행되자 실라르드는 겁에 질려 비밀유지를 강력하게 주장했습니다. 그러나 몇몇 사람들이 폭탄의 가능성에 눈을 뜨기 시작했습니다. 아인슈타인은 연쇄반응을 생각하지 않았지만 실라르드를 마주하자 의미를 재빨리 알아차렸습니다. 그러나 당대 페르미, 보어 등 대부분의 과학자는 그 의미를 심각하게 받아들이기 보다 '보수적으로 추정'했습니다. 폭탄이 현실화되는 데는 불과 5년밖에 걸리지 않았습니다. ​ 연쇄반응의 가능성에 다시 한 번 직면했습니다. 아마도 이것은 공격적인 가정처럼 들릴 것입니다. 그러나 AI 연구실 내의 수석 연구원들 중 많은 이들은 급속한 지능의 폭발이 놀랍도록 그럴듯한 시나리오라고 말합니다. AGI로 향하는 길을 본 자들입니다. 초지능은 가능합니다. 1조 달러 규모의 클러스터를 향해 Racing to the Trillion-Dollar Cluster ​ 가장 놀라운 기술발전, 자본투하가 일어나고 있습니다. AI 매출이 빠르게 증가함에 따라 2030년이 오기 전에 GPU, 데이터센터 및 이를 위한 전력인프라 구축에 수조 달러가 투자될 것입니다. 미국 전력 생산량을 10% 늘리는 등 총동원이 강력해질 것입니다. ​ 아시다시피, 나라 전체를 공장으로 바꾸지 않고서는 이룰 수 없다고 말씀드렸잖아요. 여러분은 이제 나라 전체를 공장으로 바꾸는 데 성공했습니다. 1944년, 맨하탄 프로젝트의 규모를 알게된 후 닐스 보어가 에드워드 텔러에게 전한 말 AGI를 향한 경쟁은 코드와 노트북에서만 벌어지지 않습니다. 미국이 가진 산업과 기업의 힘을 동원하는 경쟁입니다. 최근 실리콘밸리에서 봤던 다른 어떤 것과 비교되지 않을 만큼, AI는 대규모 산업동원입니다. 각각의 새로운 모델은 거대한 새 클러스터를 필요로 하고, 곧 거대한 새 발전소를 필요로 하며, 결국엔 거대한 새로운 칩 공장이 필요합니다.

나머지는 전력, 데이터센터 시스템, 냉각, 네트워킹, 유지보수 인력에 들어가는 비용입니다. 전력 : H100은 700W이지만 데이터센터 단위로는 전력을 필요로 하는 것이 많습니다. 냉각이나 네트워킹, 스토리지 등입니다. SemiAnalysis는 H100당 ~1,400W가 필요할 거라 추정합니다. 칩의 FLOP/Watt당 효율이 올라갈 수 있겠지만 이러한 이점은 상대적으로 느리게 진행됩니다. 앞으로는 전력비용이 중요한 변수이므로 칩 설계는 FLOP/Watt를 기준으로 특화될 것입니다. 그럼에도 불구하고 냉각, 네트워킹, 스토리지를 위한 전력수요는 계속해서 필요합니다. 저는 H100당 1,000W가 필요하다고 가정했습니다. 참고 : 1년 동안 계속해서 실행되는 10GW 클러스터는 87.6TWh를 소비합니다. 오레곤 주는 연간 27TWh를 소비하고 있고, 워싱턴 주는 연간 92TWh를 소비합니다. 100GW 클러스터는 연간 876TWh를 소비하며 미국의 연간 전력 총 생산량은 약 4,250TWh이므로 20.6%를 차지합니다. ​ FLOP/$는 엔비디아 세대마다 다소 개선되지만 뉴스에 나오는 것처럼 크게 개선되지는 않습니다. 예를 들어 H100 → B100 전환의 실제 효과는 FLOP/$ 기준 1.5배일 가능성이 높습니다. 그러나 이정도 성능 향상은 업계에서 엄청난 도약입니다. 실제로 Blackwell은 이전 제품들에 비해서 예외적으로 좋은 제품입니다. 엔비디아가 경쟁구도 자체를 부수고 싶었기 때문입니다. A100 → H100 전환은 FLOP/$ 개선정도가 크지 않았습니다. FP8 효과를 제외하면 칩은 2배 보다 약간 더 좋고 가격은 2배 높았습니다. FP8 발전을 포함하면 1.5배 개선된 효과였습니다. ​ 가격이 낮아지면 FLOP/$가 추가로 개선될 수 있겠지만 GPU가 상당한 규모로 수요에 비해 부족할 것이라 생각하므로 비용이 더 높아질 여지도 있습니다. 엔비디아의 GPU가 이미 AI에 상당히 특화되어 있다는 점을 고려할 때(Transformer 특화 & FP8/FP4 정밀도까지 도달) FLOP/$ 기준 성능개선을 크게 낼 수 있을지 확실하지 않습니다. 메모리나 GPU를 서로 연결하는 구성요소들은 더 느리게 발전하고 있습니다. Epoch AI의 데이터를 보면 상위 머신러닝 GPU의 FLOP/$는 지난 10년 동안 10배 미만으로 좋아졌습니다. ​ 지금처럼 FLOP/$가 연간 35%씩 향상된다고 가정할 때 4 OOMs 훈련용 클러스터를 기준으로 $1T의 비용이 들어갑니다. FLOP/$가 더 빨리 개선될 가능성도 있지만 데이터센터 CAPEX에 드는 비용도 더 비싸질 것을 생각해야 합니다. 감가상각된 발전소를 구매하는 것이 아니라 새로운 전력원을 조달하는 것을 미리 수행해야 하기 때문입니다. 어쨌거나 이는 매우 대략적인 숫자입니다. 실제로 이런 일들이 일어나고 있습니다.