오픈AI 퇴사자의 글 #4 : 엔드게임을 향하여, 사막에서 봅시다

엔드게임, 사막에서 봅시다 이전 글에서 이어집니다 :) ​ 자유세계가 승리해야 한다 걸프전의 교훈 ​ 초지능을 가진 자는 결정적인 경제적, 군사적 이점을 가질 것입니다. 중국은 아직 게임에서 전혀 뒤처지지 않았습니다. AGI를 향한 경쟁에서 자유세계의 생존 자체가 위태로워질 가능성에 대해 생각합니다. 우리는 권위주의 강대국보다 우위를 점할 수 있을까요? 그리고 그 치열한 경쟁과정에서 자멸을 피할 수 있을까요? 인류의 역사는 전쟁의 역사입니다. 짧고 위태로운 잠깐을 제외하고는 세상에 평화가 있었던 적이 없습니다. 그리고 인류의 역사가 시작되기 전에는 살인적인 분쟁이 끝없이 평범했습니다. 지금은 오렌지보다 크지 않은 폭탄이 건물 전체를 파괴할 수 있는 정도의 비밀스러운 힘을 갖고 있습니다. ㅡ 윈스턴 처칠, "Shall We All Commit Suicide?" 초지능 은 인류가 개발한 가장 강력한 기술이자 가장 강력한 무기가 될 것입니다. 핵무기에 필적할 파워이므로 독재자들이 내부의 완전한 통제를 위해 사용할 수 있고, 불량국가들이 위협하는 데 사용할 수 있습니다. 많은 사람들은 이러한 가능성을 배제하며 살지만, 중국 공산당이 AGI에 눈을 뜨면 미국 AI 연구소 보안이 획기적으로 개선되기 전에는 열쇠를 가질 수 있는 충분한 경로들이 많습니다. 경쟁자들보다 앞서는 건 안전에도 매우 중요한 문제입니다. 민주적 동맹국과 권위주의적 경쟁자들이 이미 정보의 폭발 시대에 빠른 속도로 경쟁하고 있습니다. 상대방이 먼저 초지능을 확보할 것을 두려워하지 않아야만 안정적으로 초지능을 개발할 수 있습니다. 오용과 남용을 막는 것입니다. 그리고 이 과정에서 미국이 AI 리더십을 갖는 것만이 자멸적인 초지능의 리스크를 피하기 위한, 초지능을 비확산시키기 위한 현실적인 길입니다. 군사적인 우위 Whoever leads on superintelligence will have a decisive military advantage ​ 초지능은 다른 국방기술과는 다를 것입니다. 기존의 미국을 지탱해온 기술들은 초음속 미사일이나 스텔스 기술 등 미국과 자유민주주의 국가들이 갖고 있으면 매우 우세하지만 반드시 필요한 것은 아니었습니다. 미국이 이러한 기술 중 한두 가지에서 뒤처지더라도 군사적 힘의 균형은 유지될 수 있으며, 다른 분야에서 우위를 점한다면 상쇄시킬 수 있는 정도입니다. ​ 앞서 초지능의 막강한 힘에 대해 설명해드린바 있습니다. 가장 똑똑한 인간 AI 연구원보다 훨씬 더 똑똑한 수십억 명의 자동화된 과학자, 엔지니어, 기술자들이 밤낮으로 새로운 기술을 맹렬하게 발명할 것입니다. 과학기술 발전의 속도는 놀라울 정도로 빨라질 것입니다. 군사기술 연구개발에 쓴다면 수십년 동안의 군사기술 발전 노력을 단숨에 뛰어넘거나 따라잡을 수 있는 힘이 될 것입니다. 걸프전 : 20~30년 기술우세가 군사력에 미치는 영향

The Gulf War: What a few-decades-worth of technological lead implies for military power ​ ​ 걸프전은 군사기술면에서 20~30년 앞선 것이 얼마나 결정적인 영향을 주는지 잘 보여준 좋은 예시입니다. 당시 이라크는 세계에서 네 번째로 큰 군대를 갖고 있었습니다. 보병력, 탱크, 포병 등 수적인 측면에서 미국 주도의 연합군은 이라크에 비해 숫자상으로 적었으며, 이라크군은 방어계획을 세울 충분한 시간이 있었습니다. ​ 하지만 미국이 이끄는 연합군은 단 100시간의 지상전으로 이라크군을 섬멸했습니다. 연합군의 사망자는 292명에 불과했지만, 반면 이라크군은 2만~5만 명이 사망했고 수십만 명이 부상당하거나 포로로 잡혔습니다. 연합군은 3,000대가 넘는 이라크 전차를 파괴했는데 고작 31대의 전차를 잃는 정도였습니다. ​ 유도탄, 스마트한 총기와 보병지원도구, 초기 버전의 스텔스기, 더 나은 센서, 더 나은 탱크 조준경, 더 나은 전투기, 정찰능력상의 우위 등 기술의 차이는 완전히 압도적이었습니다. 보다 최근의 예시를 들자면 이란에서 이스라엘을 향해 발사한 300발의 미사일 중 99%가 이스라엘 및 미국/동맹국의 미사일 방어 시스템에 의해 요격된 것을 생각해볼 수 있습니다. 초지능을 통해서 1~2년 혹은 3년의 우위를 갖는 것은 걸프전에서 미국 연합군이 이라크군에 대응해서 가졌던 군사적인 우위와 같을 것입니다. 군사적으로 힘의 균형이 완전히 재편될 수 있다는 것입니다. 20세기 군사기술의 발전이 10년 이내에 가능하다고 상상해보세요. 말에서 소총으로, 참호에서 현대식 탱크 군대로, 그리고 몇 년 만에 바로 초음속 전투기와 핵무기, ICBM을 갖고, 몇 년 후에는 적에게 존재를 알리지 않고도 공격을 끝낼 수 있는 스텔스와 정밀한 타격무기 및 정찰자산을 갖게 될 것입니다. ​ 한 세기의 군사기술 발전이 10년 이내로 압축될 수 있는 시대를 상상할 수 있습니다. 우리는 적의 군사력 대부분을 해킹할 수 있는 초인적인 수준의 동시다발적 해킹, 로봇 군대, 자율드론군단에 이어 가장 중요한 것은 초지능의 지능을 활용해 아직 상상할 수 없는 새로운 대량살상무기를 개발하는 것입니다. 이를 방어하기 위해서도 무기개발에 AI가 필요할 것입니다. ​ *코멘트 → 성장 트렌드의 변화는 이전에도 있던 일입니다. 문명이 수렵에서 농업으로, 과학과 상업으로, 산업시대로 접어들면서 그때마다 세계 경제성장속도는 가속화됐습니다. 초지능은 성장 트렌드의 변화를 만드는 또 다른 시점일 수도 있습니다. ​ 단지 기술적 발전에 그치지 않습니다. 군사적인 발전을 위해 로봇 기술을 개발하는 과정에서 노동은 완전히 자율화되어 훨씬 더 광범위하게 산업 및 경제적 GDP 폭발도 가능해지기 때문입니다. 성장률이 연간 수십 퍼센트에 이를 가능성이 있습니다.

길어야 10년 이내쯤에 AI 능력이 앞서가는 국가의 GDP가 그렇지 않은 국가의 GDP 성장률을 추월할 것입니다. 로봇 공장이 급격하게 증가하게 되면 기술적 우위도 갖추지만 희토류 같은 분야의 생산능력들도 높아진다는 것을 의미합니다. 수백만 대의 미사일 요격기, 수십억 대의 드론을 생산할 수 있게 됩니다. ​ 물론 과학의 한계, 속도를 늦출 수 있는 한계들을 아직 모릅니다. 인류역사상 이정도 속도로 발전해본 적이 없기 때문입니다. 하지만 우리는 '결정적인 군사적 우위(decisive military advantage)'가 목적입니다. 이를 위해 신이 될 필요는 없습니다. 10억 명의 초지능 과학자들이 충분히 많은 일들을 할 수 있을 것입니다. 소총이 발명되고 나서 그 이전 군대와 싸울 때처럼, 현대식 탱크가 개발되고 나서 이전 군대와 싸울 때처럼, 핵무기와 스텔스기를 갖추고 나서 싸울 때처럼 수년 내 초지능 이전의 군대는 절망적인 열세를 겪을 것입니다. 군사적 우위는 핵 억지력에도 결정적일 것 The military advantage would be decisive even against nuclear deterrents ​ 더 명확하게 말하자면, 초지능은 적의 핵 억지력을 선제적으로 제거할 수 있을 것입니다. 수많은 센서들로부터 오는 정보를 초지능이 분석할 수 있다면 현재 가장 조용한 핵잠수함과 이동식 미사일 발사대도 찾을 수 있습니다. 스텔스 기능에 대한 R&D를 초지능이 하고, 초지능이 개발한 수백만 혹은 수십억 개의 쥐 크기 자율드론이 적진 후방으로 침투하여 적의 핵 전력을 은밀하게 찾아내 파괴할 수 있습니다. 이에 맞서 미사일 방어능력을 높이기 위해 이스라엘처럼 아이언 돔 방어시설이 필요할 것입니다. 공장에 가득찬 로봇은 상대방의 미사일을 날려버리기 위한 수천 개의 요격기를 생산할 수 있습니다. 그리고 이 모든 것은 완전히 새로운 과학이나 기술 패러다임이 등장하는 미래는 생각하지 않은 것입니다. 만약 한 국가가 엄청난 방사선을 한 지점에 집중해서 구워낼 수 있는 힘을 가진다면 지구를 관통해 원격으로 지구상 모든 핵폭탄을 무력화시킬 수도 있습니다. ​ 경쟁 상대가 없어질 것입니다. 상호확증파괴를 약속하는 핵무기 시대의 경쟁이 아니라, 큰 사상자 없이 상대방의 군사력을 모두 무력화시킬 수 있다는 점에서 경쟁할 수 없습니다. 초지능이 몇 년만 앞서도 완전한 우위를 점하는 게 가능하다고 생각합니다. ​ 초지능을 완전히 달성하기 전에 초기 버전의 초지능을 갖추더라도 충분히 결정적인 우위를 점할 수 있습니다. 초인적인 해킹 능력, 상대방 지도자와 고위관리 및 그 가족을 즉사시킬 수 있는 드론군단, 특정 민족을 말살시키거나, 알파폴드와 비슷한 시뮬레이션으로 가장 많은 사람을 죽일 수 있는 첨단 생물무기를 개발할 수도 있습니다. 중국은 경쟁력이 있다 China can be competitive

​ 많은 사람들이 중국의 힘, AI의 힘을 안일하게 생각하는 것 같습니다. 칩 수출통제로 인해서 중국의 AI 경쟁역량이 사라졌고, 주요 AI 연구소가 미국과 영국에 있으니 걱정하지 않아도 되는 것처럼 보입니다. 네, 중국 AI 연구소는 LLM을 훈련시킬 수 있는 수준인 건 맞지만 많이 봐줘도 미국의 Tier 2 연구소와 비슷한 정도입니다. 그리고 중국 모델들도 생각보다 미국의 오픈소스 모델을 베낀 것에 불과한 수준이 많습니다. 예를 들어 Yi-34B 아키텍처를 뜯어보면 코드 몇 줄만 바꿨을 뿐 본질적으로 Llama2 아키텍처를 갖고 있습니다. 중국의 딥러닝 연구능력은 원래 지금보다 훨씬 뛰어났습니다. 예를 들어 바이두는 최초의 현대식 스케일링 법칙 논문을 발표했었습니다. 중국은 미국보다 많은 양의 AI 논문을 발표했지만 최근 몇 년 동안 AI 연구를 주도하진 못했습니다. ​ 하지만 중국 공산당이 AGI의 중요성을 깨닫는 순간이 온다면, 이들과 경쟁하기 위해 꽤 많은 노력을 들여야 할 거라 예상할 수 있습니다. 중국이 한 번에 티켓을 얻고 미국을 앞지를 수 있는 방법이 있기 때문입니다. 앞서 말했듯이 알고리즘을 훔치는 것입니다. 1. 컴퓨팅 Compute ​ I-a. 칩 Chips, 중국은 이제 7nm 칩을 제조할 수 있는 능력을 갖췄습니다. EUV가 없으니 7nm를 넘어서긴 어렵지만, 반대로 7nm면 충분하기도 합니다. 엔비디아 A100이 사용했던 정도의 칩입니다. SMIC 7nm 플랫폼에서 생산한 중국 토종 화웨이 칩인 Ascend 910B는 동시대 엔비디아 칩보다 달러당 퍼포먼스 면에서 약 2~3배 정도 떨어집니다. SMIC의 수율이나 전반적인 기술 성숙도는 낮아서, 얼마나 많은 7nm 칩을 생산할 수 있느냐에는 문제가 있습니다. 하지만 적어도 몇 년 내로 대규모 생산할 가능성은 높아보입니다. 그리고 아직 서방국가에서 레거시 칩들은 수입할 수 있으므로 7nm 노드 전체를 AI칩 생산에 집중함으로써 전체 생산력 감소를 보완할 수 있습니다. ​ 화웨이 AI 칩의 대부분은 설계개선으로 비롯됐습니다. 중국은 이미 대만 공급망을 통해 엔비디아의 칩 설계를 훔쳤을 가능성이 높습니다. 일반 해커가 엔비디아 데이터를 훔치기도 했으며, 최근에 중국 국적의 구글 직원이 구글 TPU v6 설계를 빼돌린 사건도 있었습니다. 3nm나 2nm에 비해 7nm는 칩단위 성능이 그닥 좋지 않고, 중국이므로 기술력이 뒤처져 비용이 더 많이 듭니다. 달러당 퍼포먼스, 달러당 소비전력으로 볼 때 2배 이상 차이가 날 것이므로 동일한 데이터센터 성능을 달성하려면 더 많은 전력이 필요하게 됩니다. 더 많은 칩을 네트워크로 연결해야 하므로 번거로움과 기술적 난이도도 더 높아집니다. ​ 그러나 7nm로도 매우 우수한 수준의 AI 칩을 만들 수 있기에 아직 트렌드를 바꿀 치명적인 문제는 아닙니다. 몇 년 내로 $100B+급 규모, $1T급 규모를 지출한다고 가정할 때 효율성을 포기하고 더 많은 비용을 투입해 커버할 수 있을 것입니다.

칩을 3배 더 쓰게 되더라도 데이터센터 전체의 비용으로 생각한다면 생각보다 많이 늘어나지 않습니다. 엔비디아 칩을 만드는 비용에서 로직 팹 비용은 5% 미만이며, 메모리와 CoWoS 비용을 합쳐도 전체 칩의 20%보다 낮습니다. 또한 GPU 자체도 데이터센터 비용의 50~60%에 불과합니다. 로직 팹이 비효율적이어도, 메모리와 후공정이 비효율적이어도, 그로 인해 GPU 자체가 비싸지더라도 비용단위에서 절감할 방법들이 있습니다. ​ ​ I-b. 미국을 '규모'로 능가할 수 있다 Outbuilding the US, 가장 큰 훈련용 클러스터를 만들려면 가장 문제가 되는 건 칩이 아니라 산업적인 인프라 문제입니다. 1조 달러 규모의 클러스터에 필요한 100GW의 전력이 문제입니다. 중국이 미국보다 앞설 수 있는 영역 중 한 가지가 있다면 바로 건설능력입니다. ​ 지난 10년 동안 중국은 지금 미국의 전체 전력캐파만큼에 달하는 새로운 전력캐파를 건설해왔습니다. 미국의 전력 인프라는 10년 넘게 제자리였습니다. 미국에서는 새로운 전력망을 깔기 위해서는 10년 동안 환경검토, 허가, 규제를 거쳐야 합니다. 따라서 중국이 대규모 훈련 클러스터를 위한 인프라를 짓는 데 있어서 미국보다 저렴하고 빠르게 지을 수 있을 거란 전망은 상당히 가능성이 높습니다. 2. 알고리즘 Algorithms ​ ​ 이전에 OOMs 계산하기에 대해서 말씀드렸던 것처럼, 컴퓨팅 확장추세는 전체 AGI와 초지능을 향한 트렌드 중 일부일 뿐입니다. 알고리즘의 발전이 나머지 절반을 차지할 만큼 치명적입니다. 지금 오픈AI는 AGI를 위한 핵심 알고리즘들을 개발하고 있습니다. 데이터 월(Data Wall) 때문에 칩에서 그랬듯, 알고리즘 업계에서도 EUV 모멘텀이 필요합니다. ​ 기본적으로는 항상 서방진영의 AI 연구소가 훨씬 앞서있을 것입니다. 핵심 인재를 훨씬 많이 보유하고 있고 최근 몇 년 동안 모든 핵심 알고리즘 혁신을 주도해왔습니다. 몇 년 안에(a few years) 10배 혹은 100배 큰 규모의 클러스터가 형성된다면 미국이 상당히 편안하게 선두를 지킬 수 있을 겁니다. ​ 하지만 지금 추세라면 이러한 어드밴티지 중 많은 걸 포기하게 될 것입니다. 이전에 말씀드린 것처럼 우리는 핵심 알고리즘 보안에 전혀 신경쓰지 않고 있기 때문입니다. 중국은 쉽게 미국 연구소에 침입할 수 있고 AGI의 핵심 알고리즘을 훔쳐서 미국의 효율을 따라잡을 수 있습니다. ​ 일각에서는 중국이 핵심 알고리즘을 훔쳐도 거대모델에 적용하려면 노하우가 필요하므로 경쟁상대가 이미 아니라고 주장합니다. 저는 이 주장에는 동의하지 않습니다. AI는 두 가지 레이어로 구성되어 있습니다. 아래에 있는 레이어는 대규모 훈련을 위한 엔지니어링 능력입니다. 까다롭고 섬세한 영역이며 암묵적인 노하우가 필요합니다. 하지만 이미 중국은 LLM을 완벽하게 훈련할 수 있는 능력을 보여주고 있습니다.

그리고 그 위의 레이어는 모델 아키텍처, 확장법칙을 다루는 알고리즘 레시피입니다. 알고리즘은 생각보다 한 시간 정도의 전화상으로도 어떤 것을 어떻게 다뤄야 하는지 알려줄 수 있습니다. LLM 훈련을 위한 노하우가 더 어렵고 이를 깔고 있어야 알고리즘도 다룰 수 있습니다. 따라서 '노하우'가 중국의 AGI 발전에 있어 장벽이 될 거라고 생각하지 않습니다. ​ 사실 더 큰 문제는 AI 모델을 훈련시킬 필요 없이 가중치를 한 번에 훔쳐서 따라잡을 수도 있습니다. 우선 자동화된 AI 연구원을 훔치게 되면 레이스를 참가할 티켓을 갖게 됩니다. 미국보다 정렬에 시간을 덜 쓰고, 안전을 신경쓰지 않고, 마구잡이로 데이터를 긁어올 수 있다면 그들이 더 빨리 초지능으로 나아갈 수도 있음을 걱정합니다. 지금까지 미국 테크기업들은 AI에 중국의 그 어떤 기업들보다도 더 크고 과감한 베팅을 해왔습니다. 그 덕분에 우리는 훨씬 앞서 있습니다. 하지만 지금 중국이 레이스에서 탈락했다고 생각하는 것은, 2022년 ChatGPT가 출시됐을 때 AI 경쟁에서 구글을 배제하자는 논의와도 비슷합니다. 당시 구글은 전력으로 달리고 있지 않고 있었기에 오픈AI가 훨씬 앞서는 것처럼 보였습니다. 그러나 코드레드와 함께 잠자고 있던 구글이 깨어났습니다.​ 이제 1년 반이 지났고 구글은 오픈AI와 매우 진지한 경쟁을 하고 있습니다. 중국 역시 미국과 충분히 경쟁할 수 있는 힘을 갖고 있습니다. 공산당이 직접 AGI 경쟁에 뛰어든다면 상황은 빠르게 매우 달라질 수 있습니다. ​ 중국 정부가 무능하므로 AI가 공산당의 독재를 위협할 거라 생각하고 강력한 AI 규제를 시행할 거라는 말도 있습니다. 하지만 저는 그렇게 믿지 않습니다. 우리는 중국이 AI 경쟁에 전면적이고 급진적으로 맞설 것이라는 기본 가정 하에 움직여야 합니다. 매년 AI 역량이 드라마틱하게 좋아지고 있고, 소프트웨어 엔지니어들이 하는 코딩이 자동화되고, AI 매출이 폭발적으로 증가하고, 10조 달러의 가치평가를 받는 기업이 등장하며, 1조 달러 규모의 클러스터 구축이 시작되고, 우리가 AGI를 향해 달리고 있다고 모두가 느끼기 시작하면 각국의 정부가 등장할 것입니다. ​ 저는 지금의 도약으로 인해, 미국 정부가 AGI의 중요성을 인식하게 될 것이라 생각하는 만큼, 중국 공산당도 AGI에 눈을 뜨고, AGI에 뒤처지는 것이 국력에 어떠한 영향을 주는지에 대해 깨닫게 될 거라고 예상합니다. ​ 그들은 강력한 적이 될 겁니다. They will be a formidable adversary 권위주의의 위험 The authoritarian peril ​ 초지능의 힘을 휘두르는 독재자는 역대 가장 집중된 권력을 휘두를 수 있는 적이 됩니다. 다른 국가에 자신의 뜻을 강요할 수 있을 뿐만 아니라 내부적으로도 통치체제를 공고히 할 수 있습니다.

​ 자유세계는 이 경쟁에서 권위주의 세력을 이겨야 합니다. 우리는 미국의 경제 및 군사적 우위를 통해서 평화와 자유를 얻고 있습니다. 초지능으로 무장한 중국 공산당, 그리고 그 친구들인 독재자들의 미래가 그리 아름답지 않을 겁니다. 미국과 서방이 이 경쟁에서 승리하지 못한다면 모든 것이 위험해집니다. 우위가 안전을 결정한다 Maintaining a healthy lead will be decisive for safety ​ 막대기와 돌 → 칼과 창 → 소총과 대포 → 기관총과 탱크 → 폭격기와 미사일 → 핵무기에 이르기까지, 그동안 경이로운 과학기술 발전의 역사는 곧 상대방을 파괴할 무기를 발전시켜온 역사이기도 합니다. 저주받은 과학의 역사입니다. 기술이 발전함에 따라 한 명을 죽이는 데 드는 비용은 지속적으로 하락하고 있습니다. 초지능 이후의 금속한 기술발전도 이러한 추세를 따를 것이라고 예상해야 합니다. ​ 생물학의 비약적인 발전으로 새로운 생화학 무기가 탄생할 수도 있습니다. 조용하고 빠르게 퍼져나간 후 명령만 내리면 완벽에 가까운 치사율로 모두를 죽일 수 있는, 테러리스트 집단조차 레시피만 안다면 매우 저렴하게 만들 수 있는 생화학무기가 탄생할 수 있습니다. 새로운 종류의 핵무기는 이전보다 훨씬 더 소형화될 수도 있으며 훨씬 더 많은 핵무기가 등장할 수도 있습니다. 치명적인 독극물을 탑재한 모기 크기의 드론이 상대 국가의 구성원을 죽이기 위해 수백만 대가 동원될 수도 있습니다. 한 세기에 걸친 기술발전을 10년 만에 이룩한다면 어떤 결과가 생길지 알기 어렵습니다. 그러나 적어도 지금보다 위협적인 미래일 거라 생각합니다. ​ 인류는 냉전 시대에 간신히 자멸을 피했습니다. 역사적 관점에서 볼 때, AI가 일으킬 가장 큰 위험은 새로운 대량살상무기를 개발하는 데 초지능을 쓸 거라는 점입니다. 이것이 확산되다보면 불량국가 혹은 테러리스트가 가질 만큼 보편화될 것입니다. 특히 지금처럼 충분한 보안이 지켜지지 않고 북한이나 이란 같은 국가가 직접적으로 탈취할 수 있는 경우에는 그 확률이 더 올라갑니다. ​ 북한은 이미 조직적인 생화학 무기를 갖고 있습니다. 미국은 "북한이 생화학무기를 개발하고 생산하기 위한 국가차원의 프로그램을 갖고 있다."고 평가했습니다. 생산시설을 갖췄다면 북한의 주요 병목은 소수의 최고과학자들이 합성생물학을 어디까지 연구할 수 있느냐일 가능성이 높습니다. 수백만 명에 해당하는 초지능 AI 연구원이 동원된다면 어떤 일이 벌어질까요? 그들은 그 새로운 혼합물로 무엇을 인질로 삼을지 생각해봐야 합니다. ​ 안정적으로 신뢰할 수 있고 제어할 수 있는 기술적인 과제를 다룬다는 건 그런 것입니다. 따라서 AGI와 초지능을 배포하기 전에 이들이 충분히 안전하다는 확신을 얻으려면, 지능의 폭발 중간마다 6개월씩 시간을 늦추거나 기능가속보다 정렬연구를 위한 컴퓨팅에 지금보다 더 많은 자원을 할당하는 등 중요한 순간에 속도를 늦춰야 할 수도 있습니다.

​ 국제조약을 통해 이를 해결하자는 것은 SF소설 같은 일입니다. 우리는 지금 미국과 중국 모두 AI가 안보를 위협할 수준을 인지할 정도에 도달하게 됐을 때를 생각하고 있습니다. 그때는 이미 모든 국가와 구성원들이 AI 우위를 뺏긴다면 영구적으로 경제적, 군사적 우위를 뺏길 수 있다는 것을 이미 알고 있는 세계일 것입니다. 조약을 해도 이 속에서 탈주(Breakout)하는 건 너무 쉬울 것이며, 인센티브와 패널티가 비대칭적일 것입니다. AI를 안전하지 않더라도 우수하게 개발했을 때 얻을 것이 그렇지 않을 때보다 더 크다는 것입니다. ​ 1980년대 냉전시대 군비를 서로 줄이자는 조약은 핵무기를 크게 줄이면서도 안정적 균형 속에서 이뤄졌습니다. 미국과 소련 모두 수천 개의 핵무기를 갖고 있었기 때문입니다. 서로를 충분히 파괴할 수 있음을 확인하자 세계는 안정적으로 변했습니다. 핵무기 제로는 안정적인 균형을 이룰 수 없습니다. 압도적인 누군가가 존재하지 않을 때가 아이러니하게 군비경쟁이 일어나기 가장 좋은 시기입니다. 같은 논리로 AI에 대한 우세가 압도적이어야 안정적일 것입니다. 몰래 조약을 위반하고 프로그램을 시작하게 되면 충분한 패널티를 받는다는 것이 확실해지기 전까지는 어떠한 합의도 안정적일 수 없습니다. ​ 우리는 미국이 압도적인 AI 주도권을 가진 상태에서 그 주도권을 바탕으로 전 세계에 안전규범을 강제해야 합니다. 이것이 핵무기 개발이 확대되지 않도록 막았던 역사입니다. 미국의 압도적 우세를 바탕으로 국제 핵무기 비확산조약을 만들고 나서야 이를 토대로 핵 기술을 평화적으로 사용하는 원자력발전소의 길이 열렸습니다. 충분한 버퍼가 있어야 더 이상 위험이 에스컬레이션 되지 않도록 막을 수 있다는 것입니다. 충분한 버퍼가 있어야 지능의 폭발기에 AI 모델 개발을 가속화시키기 위한 것에만 컴퓨팅을 쓰지 않고 정렬작업에도 컴퓨팅을 할당하는 여유가 생긴다는 것입니다. ​ AI 경쟁의 끝에 있는 것이 조약입니다. 누군가 군사력 경쟁에서 압도적 우위를 달성했고 결정적으로 누가 이기고 질 것이 분명해졌을 때, 2등 국가가 1등 국가에게 신청하는 것입니다. 미국이 AI 경쟁에서 이길 것이 분명해진다면 그때가 바로 미국이 중국 및 적대국과 거래를 시작할 수 있을 것입니다. 그때는 그들의 유일한 선택지가 협상 테이블에 앉는 것이기 때문입니다. 오늘날 미국은 핵무기, 미사일과 항공모함, 스텔스 기술적 우위를 동맹국에게 공유하는 대가로 안정적인 자유진영을 구축했습니다. 미국이 압도적인 지능을 갖춰야 초지능의 혜택을 공유하는 대가로 불확산, 안전규범, 안정적인 자유진영을 유지할 수 있습니다. ​ 우리는 수십 년 만에 AI와 함께 가장 폭발적인 국제 정세로 접어들고 있습니다. 푸틴은 동유럽에서 유럽을 향해 진군하고 있고, 중동은 불타고 있으며, 중국 공산당은 대만침공을 운명으로 여깁니다.

이제 AGI 경쟁이 더해집니다. 지금까지 본 것 중 가장 불안한 국제 정세를 상상할 수 있습니다. ​ 새로운 군사기술을 가졌고 상대는 전혀 대항하지 못하면 리드를 유지하기 위해 1등 국가는 쉽게 전쟁을 택할 수 있습니다. 초지능을 통해 새롭게 미사일을 방어하는 체계를 개발하고, 무인 드론군단과 무인 비행기 및 무인 함대를 통해 상대국가로부터 받는 피해는 최소화하면서 손쉽게 정복할 수 있게 된다면 어떨까요? 지금처럼 어렵게 이기는 것이 아닌 손쉽게 이길 수 있을 때, 군사적 비대칭성을 기반할 때는 전쟁 의사결정이 쉬워집니다. 나만 총을 만들었고, 상대방은 아직 총을 안 만들었다면 상대방이 총을 개발하기 전에 무력화시켜버리고자 하는 인센티브가 가장 커지는 법입니다. 이미 AGI 개발의 타임라인과 대만 침공 타임라인이 2027년으로 같습니다. 어느 누군가 초국가적 힘을 갖게 되는 순간 전 세계는 혼란에 접어들 수 있습니다. ​ AGI 엔드게임의 끝은 세계대전일 가능성이 있습니다. ​ '프로젝트' 국가가 개입할 순간이 온다 ​ AGI 경쟁이 치열해지면서 국가가 개입할 것입니다. 미국 정부가 깨어나는 순간부터 기업들의 개별 프로젝트는 2027/28년까지 어떤 형태로건 국가안보 차원의 AGI 프로젝트로 바뀝니다. 어떠한 스타트업도 쉽게 초지능을 다룰 수 없게 됩니다. 어디에선가 엔드게임이 시작되는 소리가 들립니다. 우리는 지금 수백 개의 발전소, 수천 개의 폭탄과 함께, 국가급 시설에 모인 수만 명의 사람들이 하나가 되어 연구소에서 한 종류의 원자의 특이한 성질에 대해 연구하고 있습니다. 처음에 이 모든 것에 대해 논하던 사람은 몇몇 사람에 불과했습니다. ㅡ 스펜서 R. 비어트(Spencer R. Weart) 요즘 은 많은 사람들이 "AI 거버넌스(AI Governance)"에 대해서 논합니다. 최첨단 AI 모델에 대한 거버넌스부터, 학계 연구소에서도 말하고, 퍼블릭 클라우드도 거버넌스를 말합니다. 그러나 저는 사람들이 약간 착각하고 있는 것 같습니다. 미국 정부가 실리콘밸리에 있는 아무 스타트업이나 초지능을 개발하도록 내버려 두는 것은 미친짓이라고 생각합니다. 갑자기 우버가 원자폭탄을 개발했다고 상상해보세요. ​ 인간보다 똑똑해진 초지능은 새로운 무기 개발, 폭발적인 경제성장을 위한 각종 정책 아이디어를 제시하거나, 로봇과 공장에 쓰이기까지 막강한 힘을 가질 것입니다. 초지능은 글로벌 경쟁의 중심이 될 것이며 군사적으로도 중요한 요인이 될 겁니다. 사람들은 과거에 기대어 미래를 생각합니다. 최근의 역사는 휴식과 평화의 역사였습니다. 이를 무의식적으로 내면화한 사람들이 착각을 하고 있습니다. ​ 우리는 옛날 원자폭탄을 다루던 과학자들과 마찬가지로 샌프란시스코에 있는 위대한 AI 과학자들이 자신들이 낳는 악마의 운명을 통제할 수 있다고 생각합니다.

수백만 개의 AI 로봇 집행요원이 국민을 단속하고, 대규모 CCTV 감시를 강화하고, 독재자에게 충성하는 AI가 시민들의 모든 반대의견을 평가할 수 있으며, 완벽에 가까운 거짓말탐지기로 불충실한 시민을 골라낼 수 있습니다. ​ 한 명의 지도자에 의해 전적으로 통제되고 복종할 수 있도록 프로그래밍되어 쿠데타 혹은 반란의 여지가 없어진다는 것이 가장 큰 문제입니다. 과거의 독재 정권은 영구적이지 않았습니다만, 이제 모든 위협을 제거하고 권력을 고정시킬 수 있게 됩니다. 공산당이 이러한 권력을 갖는다면 기존의 체제를 훨씬 더 완벽하고 공고하게 만들 수 있습니다. ​ 분명히 말씀드리지만, 제가 민주세계를 옹호하는 이유는 우리의 가치가 더 낫기 때문이 아닙니다. 무엇이 좋은지 최고의 가치가 무엇인지 모르기 때문에 자유와 민주주의를 믿는 것입니다. 역사의 큰 흐름 속에서 오류를 수정하고, 실험하고, 경쟁하고, 적응하기 위해서는 민주주의가 우수하다는 것을 증명해왔습니다. 가치를 믿는 것이 아닌 그 메커니즘을 믿습니다. ​ 누구도 이 힘을 사용하려는 끔찍한 유혹을 쉽게 떨쳐내기 어려울 겁니다. 다양한 가치가 이땅에 번성하도록 하고 수많은 실험을 일삼아오며 정반합을 만들어온 시끄러운 다수를 보존하는 프레임워크의 지혜를 보존하기를 간절히 바랍니다. ​ AI 경쟁에서 중요한 것은 자유와 민주주의가 22세기에도 살아남을 것이냐는 문제입니다. 20세기에 두 번이나 전 세계를 위협한 폭정(1차 세계대전, 2차 세계대전)이 있었지만 이런 위협이 사라졌다고 착각하면 안됩니다. 지금의 젊은 세대는 자유와 민주주의가 기본값인 것처럼 느끼고 있지만 실제로 인류의 역사는 그렇지 않습니다. 역사상 가장 흔하고 오랫동안 지속되온 정치 체제는 권위주의(Authoritarianism)였습니다. ​ 저는 중국 공산당과 그 권위주의 동맹국들의 의도가 무엇인지 선한지 악한지 진심을 모릅니다. 하지만 다시 한 번 상기시켜드리자면 중국 공산당은 인류 역사상 가장 심각한 전체주의 대량학살자(기아, 박해, 감옥노동, 대량처형을 통해 총 4~8천만 명의 사람을 죽인 것으로 추정)에 대해 지속적으로 숭배하는 정권입니다. 최근에는 위구르족 백만 명을 강제 수용소에 가뒀으며 자유로운 홍콩을 짓밟았습니다. 사회통제를 위한 신식(휴대폰 추적, DNA 데이터베이스 구축, 안면인식 등)과 구식(이웃을 신고하도록 하는 제도) 모두에서 대규모 감시통제를 체계적으로 시행하는 정권입니다. 모든 문자메시지는 검열관을 통과하도록 되어 있으며, 해외에 있는 자녀가 시위에 참여하면 가족을 경찰서로 연행할 정도로 반대 의견을 탄압하는 정권입니다. 시진핑을 종신 독재자로 굳힌 자들이자, 자유로운 이웃국가(대만)를 군사적으로 짓밟고 '재교육'하겠다는 목표를 공식적으로 선전하는 정권이며, 중국 중심의 세계 질서를 노골적으로 추구하고 있는 정권입니다.

​ 자유세계는 이 경쟁에서 권위주의 세력을 이겨야 합니다. 우리는 미국의 경제 및 군사적 우위를 통해서 평화와 자유를 얻고 있습니다. 초지능으로 무장한 중국 공산당, 그리고 그 친구들인 독재자들의 미래가 그리 아름답지 않을 겁니다. 미국과 서방이 이 경쟁에서 승리하지 못한다면 모든 것이 위험해집니다. 우위가 안전을 결정한다 Maintaining a healthy lead will be decisive for safety ​ 막대기와 돌 → 칼과 창 → 소총과 대포 → 기관총과 탱크 → 폭격기와 미사일 → 핵무기에 이르기까지, 그동안 경이로운 과학기술 발전의 역사는 곧 상대방을 파괴할 무기를 발전시켜온 역사이기도 합니다. 저주받은 과학의 역사입니다. 기술이 발전함에 따라 한 명을 죽이는 데 드는 비용은 지속적으로 하락하고 있습니다. 초지능 이후의 금속한 기술발전도 이러한 추세를 따를 것이라고 예상해야 합니다. ​ 생물학의 비약적인 발전으로 새로운 생화학 무기가 탄생할 수도 있습니다. 조용하고 빠르게 퍼져나간 후 명령만 내리면 완벽에 가까운 치사율로 모두를 죽일 수 있는, 테러리스트 집단조차 레시피만 안다면 매우 저렴하게 만들 수 있는 생화학무기가 탄생할 수 있습니다. 새로운 종류의 핵무기는 이전보다 훨씬 더 소형화될 수도 있으며 훨씬 더 많은 핵무기가 등장할 수도 있습니다. 치명적인 독극물을 탑재한 모기 크기의 드론이 상대 국가의 구성원을 죽이기 위해 수백만 대가 동원될 수도 있습니다. 한 세기에 걸친 기술발전을 10년 만에 이룩한다면 어떤 결과가 생길지 알기 어렵습니다. 그러나 적어도 지금보다 위협적인 미래일 거라 생각합니다. ​ 인류는 냉전 시대에 간신히 자멸을 피했습니다. 역사적 관점에서 볼 때, AI가 일으킬 가장 큰 위험은 새로운 대량살상무기를 개발하는 데 초지능을 쓸 거라는 점입니다. 이것이 확산되다보면 불량국가 혹은 테러리스트가 가질 만큼 보편화될 것입니다. 특히 지금처럼 충분한 보안이 지켜지지 않고 북한이나 이란 같은 국가가 직접적으로 탈취할 수 있는 경우에는 그 확률이 더 올라갑니다. ​ 북한은 이미 조직적인 생화학 무기를 갖고 있습니다. 미국은 "북한이 생화학무기를 개발하고 생산하기 위한 국가차원의 프로그램을 갖고 있다."고 평가했습니다. 생산시설을 갖췄다면 북한의 주요 병목은 소수의 최고과학자들이 합성생물학을 어디까지 연구할 수 있느냐일 가능성이 높습니다. 수백만 명에 해당하는 초지능 AI 연구원이 동원된다면 어떤 일이 벌어질까요? 그들은 그 새로운 혼합물로 무엇을 인질로 삼을지 생각해봐야 합니다. ​ 안정적으로 신뢰할 수 있고 제어할 수 있는 기술적인 과제를 다룬다는 건 그런 것입니다. 따라서 AGI와 초지능을 배포하기 전에 이들이 충분히 안전하다는 확신을 얻으려면, 지능의 폭발 중간마다 6개월씩 시간을 늦추거나 기능가속보다 정렬연구를 위한 컴퓨팅에 지금보다 더 많은 자원을 할당하는 등 중요한 순간에 속도를 늦춰야 할 수도 있습니다.

우리가 만들고 있는 것이 무엇인지, 파급효과가 얼마나 클 것인지에 대해서는 AI 연구원들만 알고 있기에 그렇습니다. 하지만 몇 년 안에 세상은 깨달을 것입니다. 국가 안보 프로젝트의 시대가 돌아옵니다. ​ 코로나19의 시대에도, 2차 세계대전에서도 그랬던 것처럼 미국이 마치 잠자는 것처럼 보이다가 한꺼번에 가장 충격적이고 놀라운 방식으로 스탠스를 바꾸는 순간이 올 것입니다. 미국 정부가 주도권을 쥐고 AI 연구원들이 합병하게 되고, 의회가 칩과 전력에 수조 달러를 배정하고, 민주주의 연합이 형성될 것입니다. ​ 스타트업은 여러 가지 면에서 분명 훌륭하지만, 스타트업만으로는 미국의 가장 중요한 국방 프로젝트를 맡기에는 부족합니다. 우리가 직면할 전면적인 스파이 위협을 방어하기 위해 정부의 개입이 필요합니다. 민간이 AI를 개발하려는 건 잘 개발한 뒤 중국 공산당에 직접 초지능을 넘겨주는 꼴일 수 있습니다. 핵 단추를 특정 기업의 CEO 혹은 특정인물에게 맡겨서는 안되듯이, 일정 수준을 넘기면 정부는 지휘권을 뺏어올 것입니다. ​ 그렇게 되어야 한다는 것이 아닙니다. 그렇게 될 겁니다. ​ 몇 년 안에 '프로젝트'는 시작됩니다. In a few years, The Project will be on. ​ 프로젝트를 향한 길 The path to The Project ​ 저는 2020년 2월 말부터 3월 중순까지 미국 정부가 뭘 했는지 선명하게 기억합니다. 2월 마지막 주부터 3월 초까지, 저는 완전히 절망적이었습니다. 코로나가 이미 미국을 휩쓸고 있고 병원의료체계의 붕괴가 임박했음에도 불구하고 거의 아무도 이를 심각하게 받아들이고 있지 않아보였기 때문입니다. 뉴욕 시장은 코로나 공포를 인종차별이라며 일축했고 시민들이 브로드웨이 공연을 보러 가야 한다고 독려했습니다. 제가 할 수 있는 일은 마스크를 사고 시장을 숏치는 것(공매도) 뿐이었습니다. ​ 하지만 불과 몇 주 만에 미국 전체가 폐쇄되고 의회는 수조 달러(말 그대로 GDP의 10% 이상)에 대한 예산을 책정했습니다. 운전대를 잡고도 잠자는 듯 보이던 미국정부가 깨어난 순간의 힘을 느꼈습니다. 민주주의 속에 서로 다른 가치를 내세우려 갈등하던 미국은 위협이 충분히 가까이 닥쳤음을 깨닫가 엄청난 힘을 발휘했습니다. 대응은 늦고, 조잡하고, 거칠었습니다. 그러나 대응은 매우 효과적이었습니다. ​ 향후 몇 년의 AI도 비슷할 것입니다. 우리는 이제 게임의 중반 단계에 접어들었습니다. 2023년에 우리는 엄청난 변화를 겪었습니다. AGI는 공상과학 소설에서 등장하던 주제였으나 이제 주요 상원 청문회와 지도자들간 정상회담에 등장하는 주제로 인식되었습니다. 아직 초기 단계임을 감안할 때 미국 정부의 참여도는 꽤나 인상적입니다. ​ ​ 2025/26년쯤에는 AI가 빅테크들의 연매출을 $100B 이상 끌어올릴 것이며, 문제해결능력면에서 박사학위자를 능가하는 수준에 도달할 것입니다.

정말 충격적인 변화들이 계속될 것입니다. 코로나19의 임팩트를 주식시장 붕괴에서 느낀 것처럼, 10조 달러 규모의 기업이 생기면 AI 마니아가 도처에 깔릴 것입니다. 2027/28년에는 $100B 이상의 규모를 가진 훈련용 클러스터에서 모델을 만들 것이며, 본격적인 AI 에이전트들이 소프트웨어 엔지니어링과 기타 인지적 작업들을 광범위하게 자동화/효율화하기 시작할 것입니다. 이때부터 매년 그 가속도는 어지러울 수준일 겁니다. ​ 아직 많은 사람들이 AGI가 출현할 수 있다는 가능성에 대해 알지 못하고 있지만, 결국 어느 순간 공감대가 형성될 것입니다. 원자폭탄의 가능성을 일찍 본 실라르드 레오처럼, 누군가는 AGI의 가능성을 먼저 봤을 뿐입니다. 이들의 경고는 처음에는 무시당했고 원자폭탄 개발은 가능성이 매우 낮다고 여겨졌습니다. 그리고 당시에는 원자폭탄의 출현 가능성을 낮고 보수적으로 보는 것이 '합리적'이라고 여겼습니다.​​ 그러나 처음에 회의적이던 과학자들은 점점 더 많은 증거를 보기 시작하자 폭탄이 만들어질 수 있음을 깨달았습니다. 폭탄 개발이 임박했다고 믿게 된 그 순간 정부도 시급성을 이해하고 국가안보 프로젝트인 맨해튼 '프로젝트'에 착수했습니다. ​ 'OOMs 트렌드가 이렇지 않을까'하고 그려봤던 과거부터 현실화되고 있는 현재까지 현실화되고 있습니다. 앞으로도 점점 사람들의 예상대로 발전해가기 시작한다면 기업의 CEO, 정부 고위직까지도 우리가 이제 AGI와 지능폭발 그리고 초지능을 향해 갈 수 있다고 느낄 것입니다. 그리고 ChatGPT가 그랬듯 여기서 다시 한 번 AI의 무서운 시연을 보게 될 겁니다. 초보자가 훨씬 발전한 챗봇으로 생물무기를 제작한다거나, 국가 주요시설을 해킹하는 데 쓰는 등 알람을 울릴 이벤트가 등장할 것입니다. 분명한 건 우리가 좋건 싫건 이 기술은 매우 중요한 군사기술로 쓰일 거라는 점입니다. 어느 순간 중국 공산당이 미국의 주요 AI 연구소에 침투했다는 게 밝혀진다면 큰 파장이 일 것입니다. ​ 2026/27년쯤 워싱턴의 분위기는 침울해질 것입니다. 사람들은 무슨 일이 일어나고 있는지 본능적으로 느끼기 시작하고 두려움에 떨 것입니다. 펜타곤 홀에서 의회 브리핑룸에 이르기까지 모든 사람들의 마음 속에서는 AGI 맨해튼 프로젝트가 필요할까 생각하게 됩니다. 처음에는 천천히 그러나 한 번에 모든 것이 분명해지는 순간이 옵니다. 상황이 거칠어질 것이며, 원자폭탄 발명 이후 국가안보에 가장 결정적인 순간이 도래했음을 느끼는 순간입니다. 이 프로젝트는 필요하며 실제로 가장 합리적인 대응책입니다. ​ 워싱턴은 항상 늦게 대응하기로 악명이 높습니다. 코로나 때도 그랬고 맨해튼 프로젝트에도 정부는 당시 엄청 늦고 허둥댔습니다. 1939년 아인슈타인이 대통령에게 보낸 편지(실제로는 거의 실라르드의 편지) 후에야 우라늄 자문위원회가 구성됐습니다.

그러나 관리들이 이 위원회가 뭐하는 것인지 몰랐기에 초기엔 진전이 없었습니다. 페르미는 연구지원금으로 $60M(오늘날 $135M)를 받았을 뿐 달라진 게 없었고, 그마저도 몇 달의 지연이 있고나서 지급됐습니다. 실라르드는 당국이 미적대면서 프로젝트가 1년 이상 지연됐다고 회상했습니다. 1941년 3월 영국 정부가 마침내 폭탄투하가 불가피하다고 결론내렸습니다. 미국 정부는 처음 몇 달 동안 이 보고서를 완전 무시하다가 마침내 1941년 12월, 임박한 시기가 되자 본격적인 원자폭탄 개발을 시작했습니다. ​ 실제 프로젝트는 조금 더 고상할 수 있습니다. AI 연구원들이 국가나 군대에 고용되는 일종의 국영기업화 방식을 택할 가능성도 있지만 굳이 그럴 필요는 없습니다. 좀 더 부드러운 조율이 가능합니다. 국방부가 방산기업인 보잉(Boeing)과 록히드마틴(Lockheed Martin)과 맺는 계약과 비슷할 가능성도 있습니다. 민간기업이 핵무기 부품 개발을 돕기는 하지만 완성되고 조립된 핵무기는 갖지 않는 것과도 같습니다. 국방부가 계약해서 주요 클라우드 컴퓨팅 기업, AI 연구소, 정부가 합작한 벤처를 설립하고 국가안보 프로젝트를 진행할 수 있습니다. 수조 달러가 투자되는 프로젝트인 만큼 견제와 균형을 위해 의회가 관여할 것입니다. 이 모든 세부사항이 어떻게 전개될지는 흘러가며 생각해봐야 합니다. ​ 그럼에도 26/27/28년은 프로젝트와 함께할 것입니다. 수백 명의 연구원으로 구성된 핵심 AGI 연구팀이 안전한 장소로 이동하고, 1조 달러 규모의 클러스터가 전례 없는 속도로 건설될 것이며, 그렇게 프로젝트가 시작됩니다. 유일한 방법 Why The Project is the only way ​ 저는 정부에 대해 환상을 갖고 있지 않습니다. 정부는 가장 한계가 많은 집단이고 인센티브도 낮기에 가장 느리게 움직이는 집단입니다. 미국의 민간 기업을 믿으며 기술이나 산업에 대해 정부가 지나치게 개입하는 것을 옹호하지 않습니다. ​ 제가 오픈AI에 합류해서 실제로 AGI로 가는 길을 다루기 전까지는 AGI에 대해서도 이러한 잣대를 그대로 들이댔었습니다. AI 연구소는 스타트업만이 할 수 있는 방식으로 AI를 연구실에서 끄집어내 상업적인 무대로 끌어올렸습니다. 성공했습니다. 하지만 궁극적으로 현재 AI 연구소들은 스타트업입니다. 스타트업이 초지능을 다룰 능력을 갖추길 기대해선 안됩니다. ​ 다른 옵션을 생각해보지만 보이지 않습니다. 기술이 가진 힘이 이정도로 크다면 미국 정부가 필요합니다. 초지능은 미국의 가장 중요한 국방프로젝트가 될 겁니다. Superintelligence will be the United States' most important national defense project

그러나 관리들이 이 위원회가 뭐하는 것인지 몰랐기에 초기엔 진전이 없었습니다. 페르미는 연구지원금으로 $60M(오늘날 $135M)를 받았을 뿐 달라진 게 없었고, 그마저도 몇 달의 지연이 있고나서 지급됐습니다. 실라르드는 당국이 미적대면서 프로젝트가 1년 이상 지연됐다고 회상했습니다. 1941년 3월 영국 정부가 마침내 폭탄투하가 불가피하다고 결론내렸습니다. 미국 정부는 처음 몇 달 동안 이 보고서를 완전 무시하다가 마침내 1941년 12월, 임박한 시기가 되자 본격적인 원자폭탄 개발을 시작했습니다. ​ 실제 프로젝트는 조금 더 고상할 수 있습니다. AI 연구원들이 국가나 군대에 고용되는 일종의 국영기업화 방식을 택할 가능성도 있지만 굳이 그럴 필요는 없습니다. 좀 더 부드러운 조율이 가능합니다. 국방부가 방산기업인 보잉(Boeing)과 록히드마틴(Lockheed Martin)과 맺는 계약과 비슷할 가능성도 있습니다. 민간기업이 핵무기 부품 개발을 돕기는 하지만 완성되고 조립된 핵무기는 갖지 않는 것과도 같습니다. 국방부가 계약해서 주요 클라우드 컴퓨팅 기업, AI 연구소, 정부가 합작한 벤처를 설립하고 국가안보 프로젝트를 진행할 수 있습니다. 수조 달러가 투자되는 프로젝트인 만큼 견제와 균형을 위해 의회가 관여할 것입니다. 이 모든 세부사항이 어떻게 전개될지는 흘러가며 생각해봐야 합니다. ​ 그럼에도 26/27/28년은 프로젝트와 함께할 것입니다. 수백 명의 연구원으로 구성된 핵심 AGI 연구팀이 안전한 장소로 이동하고, 1조 달러 규모의 클러스터가 전례 없는 속도로 건설될 것이며, 그렇게 프로젝트가 시작됩니다. 유일한 방법 Why The Project is the only way ​ 저는 정부에 대해 환상을 갖고 있지 않습니다. 정부는 가장 한계가 많은 집단이고 인센티브도 낮기에 가장 느리게 움직이는 집단입니다. 미국의 민간 기업을 믿으며 기술이나 산업에 대해 정부가 지나치게 개입하는 것을 옹호하지 않습니다. ​ 제가 오픈AI에 합류해서 실제로 AGI로 가는 길을 다루기 전까지는 AGI에 대해서도 이러한 잣대를 그대로 들이댔었습니다. AI 연구소는 스타트업만이 할 수 있는 방식으로 AI를 연구실에서 끄집어내 상업적인 무대로 끌어올렸습니다. 성공했습니다. 하지만 궁극적으로 현재 AI 연구소들은 스타트업입니다. 스타트업이 초지능을 다룰 능력을 갖추길 기대해선 안됩니다. ​ 다른 옵션을 생각해보지만 보이지 않습니다. 기술이 가진 힘이 이정도로 크다면 미국 정부가 필요합니다. 초지능은 미국의 가장 중요한 국방프로젝트가 될 겁니다. Superintelligence will be the United States' most important national defense project

동시에 인간으로부터 통제를 잃지 않도록 충분히 정렬하고, 이를 미군에 전수하여 빠르게 재구성하면서, 국제사회의 안정을 가져갈 수 있도록 조약이 나올 때까지 우위를 유지해야 하는 일입니다. ​ 미국을 위한 AI 개발에 참여할 것을 부탁받는 연구원들에게는 스트레스일 겁니다. 하지만 자유세계와 인류를 위해 봉사하는 것이 우리의 의무이기도 합니다. 이 일은 개인이 할 수 있는 일 중에 가장 중요한 일일 것이기 때문입니다. 정부가 어떤 안전한 시설을 갖춘다고 하던 오늘날 터무니없이 편한 AI 연구자의 라이프스타일처럼 쾌적하진 않겠지만, 그닥 썩 나쁘지도 않을 겁니다. 샌프란시스코는 이미 일종의 거대한 AI 대학처럼 느껴지는데, 그 시설도 크게 다르지 않을 것이기 때문입니다. 낮에는 스케일링 법칙을 위해 땀을 흘리고, 주말과 밤에는 AI 연구에 대해 토론하며 어울리는 일상이 계속될 것을 상상합니다. ​ 다만, 상상치곤 너무 현실적으로 느껴지는 것만 빼고요. ​ 사막에서 봅시다. 친구들. See you in the desert, friends. ​ *코멘트 → 맨해튼 프로젝트는 1939년 극소수로 시작하여 1945년에는 고용인구 13만 명, 사용 예산 $2B(2020년 가치로 환산 시 $23B) 프로젝트로 커졌습니다. 개발과 제조는 미국, 영국, 캐나다 등 30곳에서 분산돼서 진행됐으며 일부는 완전 기밀로 다뤄졌습니다. 맨해튼 프로젝트는 레슬리 그로브스 소장이 지휘하는 미군 육군 공병대 관할 하에서 사막 한가운데였던 로스 앨러모스를 골라 아예 도시를 세워서 진행됐습니다. 1942~1946년간 본격 진행됐는데, 군사부문은 맨해튼 지구(Manhattan District)로 불렸으며, 전체 프로젝트의 공식 이름은 대체자원개발(Development of Subsitute Materials)였습니다. *코멘트 → 맨해튼 프로젝트는 추축국, 특히 나치 독일에게 정보가 누설되는 걸 막기 위해 엄격한 기밀을 유지한 채로 진행됐습니다. 나치 독일도 당시 핵무기 개발계획 "우란프로옉트(Uranprojekt)"을 비밀리에 추진하고 있었기 때문입니다. 미국 프로젝트에서 관련 인원이 매우 많았기에 보안 유지가 어려웠습니다. 그리고 미국의 맨해튼 프로젝트가 진행되던 중간인 1943년에는 소련이 맨해튼 프로젝트에서 만든 기술을 빼내려 한다는 점이 확실해졌습니다. 버클리대학교에서 근무하던 하콘 체발리어의 간첩행위가 적발되면서 문제가 불거졌습니다. 그 외에도 클라우스 퍼치스, 헨리 골드, 데이디브 그린글래스, 에델 로젠버그, 줄리어스 로젠버그 등 다양한 인물이 첩보원이었음이 밝혀졌습니다. 소련은 이렇게 모은 정보를 바탕으로 소비에트 핵폭탄 계획을 앞당길 수 있었습니다.

​ 수년 내 초지능은 군사적인 균형을 흔들 것입니다. 2030년대 초반이 되면 좋든 싫든, 기존의 평화와 안보를 유지했던 미국의 모든 무기체계는 과거의 유산이 되어 쓸모없게 될 것입니다. 현대화의 문제가 아니라 전면적인 교체가 이뤄질 것입니다. ​ 간단하게 말씀드리자면 AGI의 개발은 인터넷보다는 핵무기에 가까운 카테고리입니다. 물론 군사적이면서 동시에 상업적일 겁니다. 핵 기술도 군사적이면서 동시에 전력발전원으로서 상업적으로 쓰였듯 말입니다. 급격한 기술변화에 발맞춰 수년 내로 미군을 완전히 재편하게 될 것이며, 그렇지 않으면 적에게 뒤처질 위험이 있습니다. 초인적인 해킹 능력을 갖춘 적, 핵 미사일 사일로를 파악한 뒤 동시에 선제공격하여 파괴할 수 있는 새로운 종류의 스텔스 드론군단, 새로운 생화학무기를 탄생시킬 합성생물학의 발전, 격렬한 국가간, 국가 내 권력투쟁, 불량국가의 초지능 프로젝트 등 다양한 위협에 대응할 수 있는 역량이 필요합니다. ​ 명목상 민간 프로젝트로 진행되건 그렇지 않건, AGI 프로젝트는 범용적인 의미에서 국방 프로젝트여야 하며 국가와 매우 긴밀한 협력을 통해 개발되어야 합니다. ​ 그리고 동시에 민간에 쓰이게 됩니다. ​ 핵 연쇄반응은 처음에 정부 프로젝트로만 다뤄졌고 핵무기는 지금까지도 영구적으로 정부전용 프로젝트입니다. 그러나 곧 핵 에너지는 1960~70년대 민간에서 새로운 에너지 발전원 프로젝트로 널리 쓰였습니다. 보잉은 B-29와 B-47, B-52 장거리 폭격기를 군과 협력하여 제작했습니다. B-29는 제2차 세계대전 중 맨해튼 프로젝트보다 훨씬 더 돈을 많이 들인, 가장 비싼 국방 R&D 프로젝트의 산물입니다. 보잉은 해당 기술을 바탕으로 보잉-707를 제작해 판매하면서 새로운 제트엔진 시대를 열었습니다. 그리고 레이더, 위성, 로켓, 유전자기술, 제2차 세계대전용 공장들도 정부의 국방프로젝트로 빠르게 발전한 산물이었습니다. 시간이 지나며 민간에 풀렸고 덕분에 인류의 기술발전은 가속화됐습니다. 엔드게임 THE ENDGAME ​ ​ 2027/28년에는 엔드게임이 시작될 것입니다. 2028/29년에는 지능의 폭발이 일어나고, 2030년에는 비로소 모든 힘과 능력을 갖춘 초지능을 소환하게 될 것입니다. 우리는 그 방향으로 가고 있습니다. ​ 프로젝트의 책임자가 누구든지 막중한 임무를 맡게 될 것입니다. 수억 개의 GPU를 만들기 위해 전시체제처럼 투자해야 하고, 모든 것을 봉쇄하고, 스파이를 제거하고, 중국 공산당의 전면적인 해킹과 물리적 접근을 막고, 수억개의 AGI를 관리하여 AI 연구를 자동화하고, 1년 동안 지난 10년 동안 개발했던 것을 연구하는 속도로 유지하며, 가장 똑똑한 인간보다 더 똑똑한 AI 시스템을 만들어야 하는 일이기 때문입니다.