2026.03.27 · 네이버 프리미엄 콘텐츠 · 올바른 미국주식 by SAPIENS

앤스로픽 CEO 다리오 아모데이 인터뷰 : AGI로 벌어들일 수조 달러의 매출, "Extremely fast, but not infinitely fast"

네이버 프리미엄 콘텐츠 원문 보기 별의순간 선택 분석 시작 심층분석 시작 분석 기준 보기

유형

네이버 프리미엄 콘텐츠

날짜

2026.03.27

강연자/작성자

올바른 미국주식 by SAPIENS

분석 주제

미지정

자료 길이

본문 54,132자

문서 전체 조망

핵심 구조

스케일링의 끝과 빠르지만 유한한 확산

다리오 아모데이는 사전훈련과 강화학습의 스케일링이 함께 작동하면서 AI가 전문 지식노동에 가까워지고 있다고 본다. 다만 기술 능력의 급진전이 곧바로 경제 전체의 무한한 전환을 뜻하지는 않으며, 수요·인프라·물리 세계·사업 모델이 실제 확산 속도를 가른다는 인터뷰다.

스케일링은 사전훈련에서 강화학습으로 넓어진다

컴퓨팅·데이터의 양과 분포·훈련 기간·확장 가능한 목적함수·안정성이 핵심이라는 2017년의 가설을 유지하며, 사전훈련뿐 아니라 강화학습에서도 훈련 시간에 따른 로그 선형 성능 향상을 관찰했다고 말한다. 이 구분이 중요한 이유는 능력의 변화와 실제 경제적 확산을 같은 속도로 놓고 판단하지 않기 위해서다.

일반화는 더 넓은 분포와 환경에서 나온다

GPT-1의 좁은 데이터에서 GPT-2의 넓은 인터넷 데이터로 옮겨가며 일반화가 나타났듯, 수학 문제에서 출발한 강화학습도 코딩과 다양한 과제로 넓혀 모델이 특정 도구를 외우는 대신 능력을 일반화하도록 만든다는 설명이다. 이 구분이 중요한 이유는 능력의 변화와 실제 경제적 확산을 같은 속도로 놓고 판단하지 않기 위해서다.

데이터센터 안의 천재는 가까운 시기의 가설이다

1~3년 안에 사람의 50%, 10년 안에 90%의 작업을 할 수 있는 AI가 나올 수 있다는 것은 아모데이의 높은 확률 판단이지 확정된 예측은 아니다. 매우 빠르면서도 동시에 무한히 빠르지는 않은 확산 속도라는 구분이 중요하다.

연속 학습과 컴퓨터 사용이 실제 활용의 병목이다

모델이 배포 뒤 새 정보를 받아 계속 배우고, 컴퓨터를 조작하며 긴 컨텍스트 안에서 적응하는 능력이 중요하다고 본다. 동시에 데이터 샘플 효율성과 추론 비용은 아직 남은 문제로 구분한다. 이 구분이 중요한 이유는 능력의 변화와 실제 경제적 확산을 같은 속도로 놓고 판단하지 않기 위해서다.

AI 투자는 고정 인프라와 불확실한 수요 사이에서 결정된다

모델의 능력은 빠르게 바뀌지만 데이터센터와 전력·칩은 미리 길게 투자해야 한다. 따라서 CapEx는 속도 자체보다 수요가 얼마나 빨리 실현되고, 고객이 어떤 방식으로 비용을 지불하는지가 지속 가능성을 좌우한다. 이 구분이 중요한 이유는 능력의 변화와 실제 경제적 확산을 같은 속도로 놓고 판단하지 않기 위해서다.

적자는 구조적 흑자 전환 전의 선택일 수 있다

수요가 빠르게 늘어날 때는 고정 인프라를 먼저 깔아야 하고, 성능 향상에는 한계수익 체감이 있어 연구비를 무한히 늘리지는 않는다는 논리다. API와 성과 기반·노동시간형 가격이 병존할 수 있다고 본다.

Claude Code는 내부 사용이 만든 제품-시장 적합성 사례다

코딩 능력이 높은 모델을 내부 연구 가속에 쓰면서 직원들의 빠른 채택과 피드백을 확인했고, 이를 외부 출시로 연결했다고 설명한다. 모델 개발자이면서 최대 사용자라는 위치가 제품 반복의 피드백 루프가 됐다는 주장이다. 이 구분이 중요한 이유는 능력의 변화와 실제 경제적 확산을 같은 속도로 놓고 판단하지 않기 위해서다.

발생·예정 사건과 출처별 관점

이슈 분석

이 자료가 이슈의 어떤 사실을 다루고, 작성자가 무슨 결론을 어떤 근거로 내렸는지 원문에 붙여 읽습니다.

발생발표·발생 후발생일 26-2-14

26-2 다리오 아모데이 팟캐스트 인터뷰 공개

작성자의 핵심 판단

아모데이는 스케일링이 사전훈련과 강화학습에서 계속 작동하고 있어 AI 능력 발전이 가까운 시기에 매우 빠를 수 있다고 평가한다. 다만 경제와 물리 세계의 확산은 무한히 빠르지 않으며, 수요와 인프라의 현실을 함께 봐야 한다고 말한다.

근거 보기 3

원문 구간 1
여섯 번째와 일곱 번째는 정규화(normalization)나 조건화(conditioning)입니다. 즉, 거대한 컴퓨팅 자원이 문제없이 층류처럼 안정적으로 흘러갈 수 있도록 수치적 안정성을 확보하는 것입니다. 이것이 저의 가설이었고, 지금도 여전히 유효하다고 믿고 있습니다. 지금까지 이 가설에 어긋나는 사례를 거의 보지 못했기 때문입니다. 사전훈련 스케일링 법칙은 우리가 목격한 이러한 현상의 한 가지 예시일 뿐입니다. 실제로 이 법칙은 계속해서 작동해 왔습니다. 널리 보도된 바와 같이, 우리는 사전훈련 단계에 대해 확신을 가지고 있으며, 이 과정은 계속해서 성능 향상을 가져다주고 있습니다. 지금 달라진 점은, 이러한 스케일링 현상이 강화학습에서도 똑같이 나타나고 있다는 것입니다. 즉, 사전훈련 단계를 거친 후 그 위에 강화학습 단계가 더해지는 구조를 보고 있는 셈입니다. 강화학습에서도 원리는 완벽히 동일합니다. 최근 다른 기업들이 발표한 자료를 보면, AIME 같은 수학 경시대회 문제나 다른 과제들로 모델을 훈련시켰을 때, 모델의 성능 향상이 훈련 시간에 비례하여 로그 선형(log-linear) 그래프를 그린다는 것을 알 수 있습니다. 우리 역시 같은 현상을 관찰하고 있습니다. 이는 단순한 수학 경시대회뿐만 아니라 매우 광범위한 강화학습 작업 전반에 적용됩니다. 결론적으로 우리는 과거 사전훈련에서 보았던 것과 완전히 동일한 스케일링 법칙을 현재 강화학습 단계에서도 목격하고 있는 것입니다. 드와르케시 파텔 : 리처드 서튼과 <the bitter lesson>을 언급하셨는데요. 네, 저도 작년에 그와 인터뷰를 한 적이 있습니다만, 사실 그는 LLM에 대해 상당히 회의적인 입장이었습니다. 이것이 정확히 그의 시각인지는 모르겠지만, 그의 반론을 조금 의역해 보자면 이런 식입니다.
원문 구간 2
그래서 결국 경영자라면, 차라리 그 $20B를 유저들에게 추론 서비스를 제공하여 돈을 버는 데 쓰거나, 혹은 자기 일을 기가 막히게 잘해내는 초일류 엔지니어들을 고용하는 데 투자하는 편이 낫다는 결론에 도달하게 될 겁니다. 따라서 제가 앞서 '50%'라고 말했던 것은 그것이 우리의 고정된 목표치이기 때문이 아닙니다. 정확히 50%로 고정되지도 않을 것이고, 상황과 시간에 따라 변동하겠죠. 제가 말씀드리고 싶은 핵심은 이 '로그 선형적 수익' 구조가 이끄는 결론입니다. 이 수학적 구조 때문에 결국 기업은 비즈니스 자원의 극단적이지 않은 합리적인 비율(order one fraction)만을 연구에 쓰게 된다는 것입니다. 5%처럼 너무 적지도 않고, 95%처럼 맹목적으로 많지도 않게 말이죠. 그 선을 넘어가게 되면 이른바 벽에 부딪히기 때문에 지독한 수확 체감(diminishing returns)의 함정에 빠지게 됩니다. 드와르케시 파텔 : 당신은 수확 체감의 법칙 때문에 연구에만 무한정 투자하지는 않지만, 앞서 언급하셨던 다른 요소들에는 투자를 하신다는 뜻이군요. 다리오 아모데이 Dario Amodei : 앤스로픽 내부의 구체적인 정보를 말씀드리고 싶지는 않아서 이런 단순화된 숫자들을 예시로 드는 것입니다만, 업계 전체의 균형점을 한번 도출해 봅시다. 왜 모든 기업이 자신들이 가진 컴퓨팅의 100%를 모델 훈련에만 쏟아붓고 고객에게는 추론하지 않는 경우는 택하지 않는 걸까요? 만약 그들이 매출을 전혀 내지 못한다면, 투자금을 유치할 수도 없고, 컴퓨팅 계약을 맺을 수도 없으며, 내년에 쓸 컴퓨팅 자원을 추가로 구매할 수도 없기 때문입니다. 따라서 모든 기업이 훈련에 100% 미만을 쓰고, 당연히 추론에도 100% 미만을 쓰는 어떤 균형점이 존재하게 될 것입니다.
원문 구간 3
그러니까 만약 그 투자를 멈춘다면, 회사는 한 두 달 정도는 흑자를 내겠지만 그 이후에는 마진을 전혀 남기지 못할 겁니다. 왜냐하면 시장에서 가장 뛰어난 최고의 모델 타이틀을 잃게 될 테니까요. 그러니, 네, 당신들은 현재 모델을 가지고 두 달 동안만 수익을 낼 수 있는 셈입니다. 다리오 아모데이 Dario Amodei : 어느 시점이 되면, 그 확장은 물리적 혹은 경제적으로 도달할 수 있는 최대치에 다다르게 될 것입니다. 현재 우리 지구의 GDP에 수렴하게 될테니까요. 그리고 나면, 마침내 그 균형 상태 안에서 우리는 알고리즘적인 발전을 이어나가게 되겠죠. 하지만 그때가 되면, 우리가 다음 세대 모델을 훈련하는 데 지출하는 비용은 대략 현재 모델을 훈련하는 데 썼던 비용과 거의 같은 수준(spending roughly the same amount)에 머물게 될 것입니다. 하지만 이것은 제가 계속해서 강조해 온 주제의 또 다른 예시이기도 합니다. 즉, 앞으로 경제는 AI와 함께 그 어느 때보다 훨씬 더 빠르게 성장할 것이라는 점이죠. 하지만 현재 컴퓨팅 인프라가 매년 300%씩 성장하고 있다고 해서, 실제 경제 성장률이 매년 300%씩 기록될 것이라고 믿지는 않습니다. 제가 <Machines of Loving Grace>에서도 썼듯이, 우리는 연간 10% 혹은 20% 정도의 경이로운 경제 성장률을 목격할 수는 있겠지만, 300%라는 수치는 불가능합니다. 결국 제 생각에, 만약 컴퓨팅이 경제가 생산하는 부가가치의 대부분을 차지하게 된다면, 전체 경제 성장률은 결국 그 현실적인 확산의 한계에 의해 제한될 수밖에 없을 것입니다. 드와르케시 파텔 : 최전선 연구소들이 돈을 벌고 있는 세상은, 근본적으로 그들이 계속해서 '빠른 발전'을 이루어내는 세상입니다.

이 자료에서 다룬 사실

원문은 2026년 2월 14일에 올라온 앤스로픽 공동창업자 겸 CEO 다리오 아모데이의 드와르케시 파텔 팟캐스트에서 AI 산업 관련 부분을 발췌했다고 밝힌다.

근거 보기 2

원문 구간 1
AI 버블론을 잠재우는 숫자들 : 엔터프라이즈 AI $37B 시장의 현주소 (바로가기) 2025-10-08 오픈AI 퇴사자의 글 #1 : 2027년 AGI가 온다 (바로가기) 투자자문 서비스에 따른 투자 시 원금 손실이 발생할 수 있으며, 투자 손익에 대한 책임은 전적으로 고객에게 귀속됩니다. 또한 과거의 투자수익이 미래의 수익률을 보장하지 않습니다. 신규 구독 전에, 아래 투자자문계약 권유문서의 계약 관련 제반 사항을 반드시 읽으시고 충분히 검토하시기 바랍니다. *투자자문계약 권유문서 : https://naver.me/5ZST47Qf 목차 우리는 이미 끝자락에 서 있다 : 암기를 넘어 일반화의 시대로 데이터센터 안의 천재들의 국가 : 1~3년 내 50%, 10년 내 90% AGI는 세상을 어떻게 배울까 : 연속 학습, Computer Use, 컨텍스트 윈도우 내의 학습 책임감 있는 AI CapEx의 의미 : "Extremely fast, but not infinitely fast" AI Labs는 흑자를 낼 수 있을까? : 그렇다면 지금은 왜 적자를 내고 있는가? '지금'을 생각하다 : 누군가 이 시대를 회상한다면... 다리오 아모데이 Dario Amodei 2026년 2월 14일, Anthropic 공동창업자 겸 CEO 우리는 이미 끝자락에 서 있다 암기를 넘어 일반화의 시대로 *2026년 2월 14일에 올라왔던 팟캐스트입니다. 당시 4Q25 실적발표 한복판이었어서 깊게 전해드리진 않았었고 대신 팟캐스트가 나왔던 직후 <주간전략보고 : 투자의 생각 (2월 16일~2월 20일)>에서 가볍게 가장 중요한 것만 훑고 넘어갔던 앤스로픽 CEO 다리오 아모데이의 드와르케시 파텔 팟캐스트 원문입니다. 2시간 22분 19초짜리 내용인데 지정학적인 내용이나 AI 헌법 등에 대한 내용들은 제외하고, AI 산업에 대한 이해를 높이기에 좋다고 생각한 부분들만 따로 정리했습니다.
원문 구간 2
드와르케시 파텔 Dwarkesh Patel : 개인적으로 궁금한 점이 있습니다. 당신이 보기에 지난 3년 동안 있었던 가장 큰 변화는 무엇이라고 생각하나요? 3년 전에 우리가 체감했던 것과 지금 느끼는 것 사이에 가장 큰 차이점이 있다면 어떤 것일까요? 다리오 아모데이 Dario Amodei : 네, 사실 기반 기술, 즉 기술의 기하급수적인 발전은 거시적으로 볼 때 대체로 제가 예상했던 대로 진행되었다고 할 수 있습니다. 물론 분야에 따라 1, 2년 정도 앞서거나 뒤처지는 오차는 있었습니다. 코딩 분야가 구체적으로 어떤 방향으로 발전할지까지 정확히 예측했다고 할 수는 없습니다. 하지만 전반적인 기하급수적 성장세를 보면, 모델의 능력이 똑똑한 고등학생 수준에서 대학생 수준으로 그리고 이제는 박사나 전문가 수준의 작업을 수행하기 시작하고, 특히 코딩에서는 그 수준을 뛰어넘는 발전 양상은 대략적으로 제 예상과 일치합니다. 발전의 최전선은 분야별로 다소 불균형하긴 하지만, 전반적으로는 예상했던 대로 흘러가고 있습니다. 하지만 이 과정에서 제가 가장 놀라웠던 점이 무엇인지 말씀드리겠습니다. 가장 놀라운 것은 우리가 이 기하급수적 성장의 끝자락에 얼마나 가까워졌는지에 대해 대중적인 인식이 턱없이 부족하다는 사실입니다. 업계 내부든 외부든 간에 사람들이 여전히 진부하고 뻔한 정치적 이슈들에 대해서만 떠들고 있다는 것이 저에게는 정말 믿기 힘들 정도로 경악스러운 일입니다. 우리를 둘러싼 상황을 직시해 보면, 우리는 지금 그 기하급수적 발전의 끝에 다다르고 있기 때문입니다. 드와르케시 파텔 : 지금 스케일링 가설은 대체 어느 지점에 와 있습니까? 다리오 아모데이 Dario Amodei : 사실 저는 2017년부터 지금까지 똑같은 가설을 유지하고 있습니다. 지난번에도 말씀드렸는데, 2017년에 저는 <거대한 컴퓨팅 덩어리 가설(the big blob of compute hypothesis)>이라는 문서를 작성했습니다.

그렇게 판단한 이유

그는 컴퓨팅·데이터·훈련 기간·목적함수·수치 안정성이 스케일링의 핵심이고, 강화학습에서도 넓은 과제에 대한 일반화가 나타난다고 설명한다.
고정된 데이터센터 인프라의 선투자와 예측하기 어려운 수요, 물리적 로봇·전력·정책 제약을 들어 능력 향상과 사회·경제적 확산을 구분한다.

근거 보기 6

원문 구간 1
그 문서는 언어 모델의 스케일링에만 국한된 것은 아니었습니다. 제가 그 글을 썼을 때는 GPT-1이 갓 나왔을 때였으니까요. 당시 언어 모델은 여러 분야 중 하나에 불과했습니다. 그 시절에는 로보틱스도 있었고, 사람들은 언어 모델과는 별개로 추론(Reasoning)을 연구하려고 했습니다. 또한 알파고나 오픈AI의 DOTA 프로젝트, 그리고 딥마인드의 스타크래프트 AI인 AlphaStar에서 볼 수 있었던 강화학습의 스케일링도 진행되고 있었습니다. 그래서 그 문서는 훨씬 더 포괄적인 내용을 담고 있었고, 제가 구체적으로 주장했던 바는 다음과 같습니다. 몇 년 뒤 리치 서튼(Rich Sutton)이 발표한 <The Bitter Lesson>과도 매우 유사한 내용인데, 기본적으로 가설의 핵심은 동일합니다. 요약하자면, 기발한 아이디어나 특별한 기법들, 혹은 무언가를 하기 위해 새로운 방법론이 필요하다는 식의 접근은 그다지 중요하지 않다는 것입니다. 중요한 것은 단 몇 가지뿐이며, 저는 그것을 일곱 가지로 정리했습니다. 첫째는 순수한 컴퓨팅 파워(raw compute)를 얼마나 보유하고 있는지입니다. 둘째는 데이터의 양입니다. 셋째는 데이터의 품질과 분포입니다. 데이터가 매우 폭넓게 분포되어 있어야 합니다. 넷째는 훈련 기간입니다. 다섯째는 끝없이 확장할 수 있는 목적 함수(objective function)입니다. 사전훈련(pre-training)의 목적 함수가 바로 그런 예시 중 하나입니다. 또 다른 예로는 목표를 설정하고 그것을 달성하도록 하는 강화학습의 목적 함수를 들 수 있습니다. 물론 그 안에는 수학이나 코딩에서 볼 수 있는 객관적인 보상도 있고, 인간 피드백 기반 강화학습(RLHF)이나 그보다 더 고차원적인 형태에서 나타나는 주관적인 보상도 존재합니다.
원문 구간 2
여섯 번째와 일곱 번째는 정규화(normalization)나 조건화(conditioning)입니다. 즉, 거대한 컴퓨팅 자원이 문제없이 층류처럼 안정적으로 흘러갈 수 있도록 수치적 안정성을 확보하는 것입니다. 이것이 저의 가설이었고, 지금도 여전히 유효하다고 믿고 있습니다. 지금까지 이 가설에 어긋나는 사례를 거의 보지 못했기 때문입니다. 사전훈련 스케일링 법칙은 우리가 목격한 이러한 현상의 한 가지 예시일 뿐입니다. 실제로 이 법칙은 계속해서 작동해 왔습니다. 널리 보도된 바와 같이, 우리는 사전훈련 단계에 대해 확신을 가지고 있으며, 이 과정은 계속해서 성능 향상을 가져다주고 있습니다. 지금 달라진 점은, 이러한 스케일링 현상이 강화학습에서도 똑같이 나타나고 있다는 것입니다. 즉, 사전훈련 단계를 거친 후 그 위에 강화학습 단계가 더해지는 구조를 보고 있는 셈입니다. 강화학습에서도 원리는 완벽히 동일합니다. 최근 다른 기업들이 발표한 자료를 보면, AIME 같은 수학 경시대회 문제나 다른 과제들로 모델을 훈련시켰을 때, 모델의 성능 향상이 훈련 시간에 비례하여 로그 선형(log-linear) 그래프를 그린다는 것을 알 수 있습니다. 우리 역시 같은 현상을 관찰하고 있습니다. 이는 단순한 수학 경시대회뿐만 아니라 매우 광범위한 강화학습 작업 전반에 적용됩니다. 결론적으로 우리는 과거 사전훈련에서 보았던 것과 완전히 동일한 스케일링 법칙을 현재 강화학습 단계에서도 목격하고 있는 것입니다. 드와르케시 파텔 : 리처드 서튼과 <the bitter lesson>을 언급하셨는데요. 네, 저도 작년에 그와 인터뷰를 한 적이 있습니다만, 사실 그는 LLM에 대해 상당히 회의적인 입장이었습니다. 이것이 정확히 그의 시각인지는 모르겠지만, 그의 반론을 조금 의역해 보자면 이런 식입니다.
원문 구간 3
특정 팬픽션 말뭉치에서 성능이 좋게 나왔다고 해도, 그것이 다른 분야로 범용성 있게 적용되지 않았습니다. 모델이 다른 종류의 텍스트를 얼마나 잘 예측하는지 측정하는 여러 지표가 있었지만, 일반화 능력을 제대로 확인하기 어려웠습니다. CommonCrawl이나 레딧의 링크를 긁어모으는 식의 대대적인 인터넷 스크래핑을 통해 인터넷상의 광범위한 데이터에 대해 학습시켰을 때 비로소 일반화가 시작되었습니다. 우리가 GPT-2에서 했던 방식이죠. 그렇게 스케일을 키우고 나서야 비로소 진정한 일반화 능력을 얻기 시작한 것입니다. 그리고 저는 지금 강화학습에서도 완전히 똑같은 현상을 보고 있습니다. 우리는 처음에는 수학 경시대회 학습 같은 아주 단순한 강화학습 과제로 시작했습니다. 그다음에는 코딩을 포함하는 더 광범위한 훈련으로 이동했고, 이제는 아주 다양한 다른 수많은 과제들을 수행하는 방향으로 나아가고 있습니다. 이렇게 스케일이 커지면 우리는 점차 강화학습에서도 일반화 능력을 얻게 될 것입니다. 여기까지가 강화학습과 사전훈련이 본질적으로 다르지 않다는 제 설명입니다. 하지만 어느 쪽이든 분명한 난제가 하나 남아 있습니다. 사전훈련 단계에서 우리는 수조 개의 토큰을 사용하여 모델을 학습시킵니다. 인간은 평생 수조 개의 단어를 읽지 않죠. 따라서 인간과 AI 사이에는 명백한 데이터 샘플 효율성(sample efficiency)의 차이가 존재합니다. 인간의 학습과는 확연히 다른 무언가가 일어나고 있는 것이죠. 인공지능 모델들은 완전한 백지상태에서 시작하기 때문에 훨씬 더 방대한 학습을 거쳐야만 합니다. 그러나 동시에, 일단 학습이 완료된 후 모델에게 100만 토큰에 달하는 거대한 컨텍스트(context length)를 주면, 모델들은 그 컨텍스트 안에서 매우 뛰어나게 새로운 것을 학습하고 적응합니다.
원문 구간 4
반대로 단순히 현재 모델만 서비스하면서 새로운 모델을 전혀 학습시키지 않는 이유도 명확합니다. 그렇게 하면 기술 경쟁에서 뒤처져서 결국 수요 자체가 사라져 버릴 테니까요. 즉, 어떠한 균형점이 있습니다. 그게 10%는 아닐 거고, 90%도 아닐 겁니다. 그냥 이해를 돕기 위한 단순화된 사실로서 그게 50%라고 가정해 보죠. 이게 제가 말씀드리려는 요지입니다. 그리고 제 생각에 우리는 머지않아, 그 훈련에 들이는 비용의 균형점이 컴퓨팅을 통해 얻을 수 있는 GPM보다 낮아지는 위치에 도달할 것입니다. 따라서 근본적인 경제 구조 자체는 흑자를 내게 되어 있습니다. 문제는 내년도 컴퓨팅 자원을 미리 구매할 때 겪게 되는 이 지옥 같은 수요 예측의 난제입니다. 수요를 과소평가하면 아주 큰 흑자를 내겠지만 연구에 쓸 컴퓨팅 자원이 바닥날 것이고, 수요를 과대평가하면 적자를 보겠지만 세상에서 가장 많은 연구용 컴퓨팅 자원을 갖게 되겠죠. 업계 전체의 역동적인 모델로서 이 설명이 좀 타당하게 들리시나요? 드와르케시 파텔 : 당신이 방금 설명해 주신 그 최종 결론(수요 예측의 어려움과 신중한 자본 배치)은 제게도 아주 타당하고 합리적으로 들립니다. 하지만 그게 타당하게 들리는 이유는, "아, AGI를 실현하는 것은 여전히 무척 어렵고 아직 갈 길이 한참 멀구나"라고 전제했을 때의 이야기입니다. 그래서 다시 본질로 돌아가 제가 정말 묻고 싶은 것은 이겁니다. 당신이 지금 보여주고 있는 세계관과 비즈니스적 판단들은, 사실 "우리가 수조 달러의 수익을 창출하는 세상으로부터 아직 한 10년쯤은 떨어져 있다"고 말하는 사람의 태도와 훨씬 더 앞뒤가 잘 맞는 것 같습니다. 다리오 아모데이 Dario Amodei : 그건 전혀, 단연코 제 견해가 아닙니다.
원문 구간 5
제 생각은 절대 그렇지 않습니다. 음, 그래서 제가 다시 한번 확실한 예측을 해보겠습니다. 저는 2030년 이전에 수조 달러 규모의 수익이 창출되지 않을 것이라고는 도저히 상상하기 어렵습니다. 음, 제가 가장 그럴듯한(plausible) 시나리오 하나를 구성해 보죠. 아마 3년 정도 걸릴 수 있습니다. 그게 제가 생각하는 가장 늦춰진 타임라인의 끝자락일 겁니다. 가령 2028년에, 우리는 데이터센터 안에서 진짜 천재들이 가득한 국가를 얻게 됩니다. 아시다시피, 2028년쯤 되면 업계의 매출은 아마 $200~300B(low hundreds of billions)에 진입해 있을 것이고, 그때 완성된 이 천재국가가 그 매출을 단숨에 수조 달러 규모로 가속화하는 겁니다. 그리고 이 시나리오는 기본적으로 기술의 경제적 확산(diffusion)이 가장 느리게 일어나는 최악의 경우(slow end)를 가정한 겁니다. 수조 달러에 도달하는 데 AGI 완성 후 2년이나 더 걸린다고 치는 거니까요. 그것이 바로, 그 시나리오가 바로 수익 창출이 2030년까지 지연되는 세상의 모습입니다. 제 생각에는 기술 발전의 지수함수적 성장(technical exponential)과 경제적 확산의 지수함수적 성장(diffusion exponential)을 모두 결합해 보더라도, 우리는 분명 2030년 이전에 그곳에 도달할 것입니다. 글쎄요, 제 생각에 수익이 창출되는 방식은 이렇습니다. 자, 여기서 전체 산업을 한번 추상화해 봅시다. 마치 우리가 경제학 교과서 안에 들어와 있다고 상상해 보는 겁니다. 시장에 소수의 기업들이 존재합니다. 각 기업은 제한된 금액을, 혹은 자본의 일정 비율을 R&D에 투자할 수 있습니다.
원문 구간 6
그러니까 만약 그 투자를 멈춘다면, 회사는 한 두 달 정도는 흑자를 내겠지만 그 이후에는 마진을 전혀 남기지 못할 겁니다. 왜냐하면 시장에서 가장 뛰어난 최고의 모델 타이틀을 잃게 될 테니까요. 그러니, 네, 당신들은 현재 모델을 가지고 두 달 동안만 수익을 낼 수 있는 셈입니다. 다리오 아모데이 Dario Amodei : 어느 시점이 되면, 그 확장은 물리적 혹은 경제적으로 도달할 수 있는 최대치에 다다르게 될 것입니다. 현재 우리 지구의 GDP에 수렴하게 될테니까요. 그리고 나면, 마침내 그 균형 상태 안에서 우리는 알고리즘적인 발전을 이어나가게 되겠죠. 하지만 그때가 되면, 우리가 다음 세대 모델을 훈련하는 데 지출하는 비용은 대략 현재 모델을 훈련하는 데 썼던 비용과 거의 같은 수준(spending roughly the same amount)에 머물게 될 것입니다. 하지만 이것은 제가 계속해서 강조해 온 주제의 또 다른 예시이기도 합니다. 즉, 앞으로 경제는 AI와 함께 그 어느 때보다 훨씬 더 빠르게 성장할 것이라는 점이죠. 하지만 현재 컴퓨팅 인프라가 매년 300%씩 성장하고 있다고 해서, 실제 경제 성장률이 매년 300%씩 기록될 것이라고 믿지는 않습니다. 제가 <Machines of Loving Grace>에서도 썼듯이, 우리는 연간 10% 혹은 20% 정도의 경이로운 경제 성장률을 목격할 수는 있겠지만, 300%라는 수치는 불가능합니다. 결국 제 생각에, 만약 컴퓨팅이 경제가 생산하는 부가가치의 대부분을 차지하게 된다면, 전체 경제 성장률은 결국 그 현실적인 확산의 한계에 의해 제한될 수밖에 없을 것입니다. 드와르케시 파텔 : 최전선 연구소들이 돈을 벌고 있는 세상은, 근본적으로 그들이 계속해서 '빠른 발전'을 이루어내는 세상입니다.

사실·구조, 해석·전망, 시점 관찰, 판단 방법

지식·관점

사건 밖에서도 다시 참고하거나 다른 자료와 비교할 가치가 있는 내용을 대상과 반복 가능한 논점으로 묶습니다.

사실·구조AI 모델 스케일링주 대상 · 기술·제품 · AI 모델

사전훈련과 강화학습은 어떤 조건에서 일반화로 이어지는가

이 자료가 더한 내용

컴퓨팅, 데이터의 양·품질·분포, 훈련 기간, 확장 가능한 목적함수, 수치 안정성을 스케일링의 조건으로 제시하고, 사전훈련과 강화학습 모두에서 더 넓은 분포와 과제로 일반화가 나타난다는 설명을 보존한다.

근거 보기 4

원문 구간 1
그 문서는 언어 모델의 스케일링에만 국한된 것은 아니었습니다. 제가 그 글을 썼을 때는 GPT-1이 갓 나왔을 때였으니까요. 당시 언어 모델은 여러 분야 중 하나에 불과했습니다. 그 시절에는 로보틱스도 있었고, 사람들은 언어 모델과는 별개로 추론(Reasoning)을 연구하려고 했습니다. 또한 알파고나 오픈AI의 DOTA 프로젝트, 그리고 딥마인드의 스타크래프트 AI인 AlphaStar에서 볼 수 있었던 강화학습의 스케일링도 진행되고 있었습니다. 그래서 그 문서는 훨씬 더 포괄적인 내용을 담고 있었고, 제가 구체적으로 주장했던 바는 다음과 같습니다. 몇 년 뒤 리치 서튼(Rich Sutton)이 발표한 <The Bitter Lesson>과도 매우 유사한 내용인데, 기본적으로 가설의 핵심은 동일합니다. 요약하자면, 기발한 아이디어나 특별한 기법들, 혹은 무언가를 하기 위해 새로운 방법론이 필요하다는 식의 접근은 그다지 중요하지 않다는 것입니다. 중요한 것은 단 몇 가지뿐이며, 저는 그것을 일곱 가지로 정리했습니다. 첫째는 순수한 컴퓨팅 파워(raw compute)를 얼마나 보유하고 있는지입니다. 둘째는 데이터의 양입니다. 셋째는 데이터의 품질과 분포입니다. 데이터가 매우 폭넓게 분포되어 있어야 합니다. 넷째는 훈련 기간입니다. 다섯째는 끝없이 확장할 수 있는 목적 함수(objective function)입니다. 사전훈련(pre-training)의 목적 함수가 바로 그런 예시 중 하나입니다. 또 다른 예로는 목표를 설정하고 그것을 달성하도록 하는 강화학습의 목적 함수를 들 수 있습니다. 물론 그 안에는 수학이나 코딩에서 볼 수 있는 객관적인 보상도 있고, 인간 피드백 기반 강화학습(RLHF)이나 그보다 더 고차원적인 형태에서 나타나는 주관적인 보상도 존재합니다.
원문 구간 2
여섯 번째와 일곱 번째는 정규화(normalization)나 조건화(conditioning)입니다. 즉, 거대한 컴퓨팅 자원이 문제없이 층류처럼 안정적으로 흘러갈 수 있도록 수치적 안정성을 확보하는 것입니다. 이것이 저의 가설이었고, 지금도 여전히 유효하다고 믿고 있습니다. 지금까지 이 가설에 어긋나는 사례를 거의 보지 못했기 때문입니다. 사전훈련 스케일링 법칙은 우리가 목격한 이러한 현상의 한 가지 예시일 뿐입니다. 실제로 이 법칙은 계속해서 작동해 왔습니다. 널리 보도된 바와 같이, 우리는 사전훈련 단계에 대해 확신을 가지고 있으며, 이 과정은 계속해서 성능 향상을 가져다주고 있습니다. 지금 달라진 점은, 이러한 스케일링 현상이 강화학습에서도 똑같이 나타나고 있다는 것입니다. 즉, 사전훈련 단계를 거친 후 그 위에 강화학습 단계가 더해지는 구조를 보고 있는 셈입니다. 강화학습에서도 원리는 완벽히 동일합니다. 최근 다른 기업들이 발표한 자료를 보면, AIME 같은 수학 경시대회 문제나 다른 과제들로 모델을 훈련시켰을 때, 모델의 성능 향상이 훈련 시간에 비례하여 로그 선형(log-linear) 그래프를 그린다는 것을 알 수 있습니다. 우리 역시 같은 현상을 관찰하고 있습니다. 이는 단순한 수학 경시대회뿐만 아니라 매우 광범위한 강화학습 작업 전반에 적용됩니다. 결론적으로 우리는 과거 사전훈련에서 보았던 것과 완전히 동일한 스케일링 법칙을 현재 강화학습 단계에서도 목격하고 있는 것입니다. 드와르케시 파텔 : 리처드 서튼과 <the bitter lesson>을 언급하셨는데요. 네, 저도 작년에 그와 인터뷰를 한 적이 있습니다만, 사실 그는 LLM에 대해 상당히 회의적인 입장이었습니다. 이것이 정확히 그의 시각인지는 모르겠지만, 그의 반론을 조금 의역해 보자면 이런 식입니다.
원문 구간 3
특정 팬픽션 말뭉치에서 성능이 좋게 나왔다고 해도, 그것이 다른 분야로 범용성 있게 적용되지 않았습니다. 모델이 다른 종류의 텍스트를 얼마나 잘 예측하는지 측정하는 여러 지표가 있었지만, 일반화 능력을 제대로 확인하기 어려웠습니다. CommonCrawl이나 레딧의 링크를 긁어모으는 식의 대대적인 인터넷 스크래핑을 통해 인터넷상의 광범위한 데이터에 대해 학습시켰을 때 비로소 일반화가 시작되었습니다. 우리가 GPT-2에서 했던 방식이죠. 그렇게 스케일을 키우고 나서야 비로소 진정한 일반화 능력을 얻기 시작한 것입니다. 그리고 저는 지금 강화학습에서도 완전히 똑같은 현상을 보고 있습니다. 우리는 처음에는 수학 경시대회 학습 같은 아주 단순한 강화학습 과제로 시작했습니다. 그다음에는 코딩을 포함하는 더 광범위한 훈련으로 이동했고, 이제는 아주 다양한 다른 수많은 과제들을 수행하는 방향으로 나아가고 있습니다. 이렇게 스케일이 커지면 우리는 점차 강화학습에서도 일반화 능력을 얻게 될 것입니다. 여기까지가 강화학습과 사전훈련이 본질적으로 다르지 않다는 제 설명입니다. 하지만 어느 쪽이든 분명한 난제가 하나 남아 있습니다. 사전훈련 단계에서 우리는 수조 개의 토큰을 사용하여 모델을 학습시킵니다. 인간은 평생 수조 개의 단어를 읽지 않죠. 따라서 인간과 AI 사이에는 명백한 데이터 샘플 효율성(sample efficiency)의 차이가 존재합니다. 인간의 학습과는 확연히 다른 무언가가 일어나고 있는 것이죠. 인공지능 모델들은 완전한 백지상태에서 시작하기 때문에 훨씬 더 방대한 학습을 거쳐야만 합니다. 그러나 동시에, 일단 학습이 완료된 후 모델에게 100만 토큰에 달하는 거대한 컨텍스트(context length)를 주면, 모델들은 그 컨텍스트 안에서 매우 뛰어나게 새로운 것을 학습하고 적응합니다.
원문 구간 4
현재 거대한 컨텍스트를 가로막는 유일한 장벽은 추론 비용 정도뿐입니다. 이 문제에 대한 완벽한 해답은 모르겠지만, AI의 학습 과정은 인간의 학습 과정과는 근본적으로 다르게 작동하고 있다고 생각합니다. AI의 학습은 인간의 단기적인 학습 과정과 인간 종의 진화 과정 그 어딘가에 위치해 있습니다. 인간은 진화를 통해 이미 뇌 구조에 수많은 사전 지식(priors)을 각인한 채로 태어납니다. 우리의 뇌는 단순한 백지상태(blank slate)가 아닙니다. 반면 언어 모델은 훨씬 더 극단적인 백지상태입니다. 인간의 뇌가 여러 입력과 출력에 연결된 영역들이 이미 구조화된 상태로 시작하는 반면, 언어 모델은 말 그대로 아무것도 없는 무작위 가중치(random weights)에서 시작합니다. 따라서 우리는 사전훈련과 강화학습을 인간의 진화와 인간의 즉각적인 현장 학습 사이의 중간 영역에 존재하는 무언가로 이해해야 할지도 모릅니다. 그리고 모델이 프롬프트 창 안에서 문맥을 파악하는 인컨텍스트 학습(in-context learning)은 인간의 장기 학습과 단기 학습 사이의 어딘가에 있는 것으로 봐야 할 것입니다. 요약하자면, 진화, 장기 학습, 단기 학습, 그리고 즉각적인 반응이라는 생물학적 계층 구조가 있다고 할 때, LLM의 단계들은 이 스펙트럼 위 어딘가에 존재합니다. 하지만 그것이 인간의 학습 방식과 정확히 일대일로 대응되는 것은 아닙니다. LLM은 인간의 학습 모드들 사이사이의 빈 지점들을 채우며 완전히 새로운 방식으로 발전하고 있는 셈입니다. 드와르케시 파텔 : 하지만 여전히 조금 혼란스러운 부분들이 있습니다. 예를 들어, AI의 학습 과정이 진화와 같다는 비유를 적용해서 데이터 샘플 효율성이 떨어지는 현상이 당연하다고 가정해 보겠습니다. 그렇다면, 인컨텍스트 학습(in-context learning)을 통해 압도적으로 샘플 효율성이 높은, 즉 조금만 가르쳐도 금방 배우는 에이전트를 곧 얻게 될 텐데, 왜 굳이 지금 특정 기술들을 억지로 주입하려고 애쓰는 걸까요?

해석·전망AI 학습 방식주 대상 · 기술·제품 · AI 에이전트

연속 학습과 긴 컨텍스트는 AI의 적응 능력에서 어떤 역할을 하는가

이 자료가 더한 내용

인간과 AI의 데이터 샘플 효율성은 다르지만, 학습된 모델이 긴 컨텍스트 안에서 새 정보를 빠르게 익힐 수 있으며, 지속 학습·컴퓨터 사용·다양한 환경 훈련이 실제 적응의 여러 경로라고 설명한다.

근거 보기 4

원문 구간 1
현재 거대한 컨텍스트를 가로막는 유일한 장벽은 추론 비용 정도뿐입니다. 이 문제에 대한 완벽한 해답은 모르겠지만, AI의 학습 과정은 인간의 학습 과정과는 근본적으로 다르게 작동하고 있다고 생각합니다. AI의 학습은 인간의 단기적인 학습 과정과 인간 종의 진화 과정 그 어딘가에 위치해 있습니다. 인간은 진화를 통해 이미 뇌 구조에 수많은 사전 지식(priors)을 각인한 채로 태어납니다. 우리의 뇌는 단순한 백지상태(blank slate)가 아닙니다. 반면 언어 모델은 훨씬 더 극단적인 백지상태입니다. 인간의 뇌가 여러 입력과 출력에 연결된 영역들이 이미 구조화된 상태로 시작하는 반면, 언어 모델은 말 그대로 아무것도 없는 무작위 가중치(random weights)에서 시작합니다. 따라서 우리는 사전훈련과 강화학습을 인간의 진화와 인간의 즉각적인 현장 학습 사이의 중간 영역에 존재하는 무언가로 이해해야 할지도 모릅니다. 그리고 모델이 프롬프트 창 안에서 문맥을 파악하는 인컨텍스트 학습(in-context learning)은 인간의 장기 학습과 단기 학습 사이의 어딘가에 있는 것으로 봐야 할 것입니다. 요약하자면, 진화, 장기 학습, 단기 학습, 그리고 즉각적인 반응이라는 생물학적 계층 구조가 있다고 할 때, LLM의 단계들은 이 스펙트럼 위 어딘가에 존재합니다. 하지만 그것이 인간의 학습 방식과 정확히 일대일로 대응되는 것은 아닙니다. LLM은 인간의 학습 모드들 사이사이의 빈 지점들을 채우며 완전히 새로운 방식으로 발전하고 있는 셈입니다. 드와르케시 파텔 : 하지만 여전히 조금 혼란스러운 부분들이 있습니다. 예를 들어, AI의 학습 과정이 진화와 같다는 비유를 적용해서 데이터 샘플 효율성이 떨어지는 현상이 당연하다고 가정해 보겠습니다. 그렇다면, 인컨텍스트 학습(in-context learning)을 통해 압도적으로 샘플 효율성이 높은, 즉 조금만 가르쳐도 금방 배우는 에이전트를 곧 얻게 될 텐데, 왜 굳이 지금 특정 기술들을 억지로 주입하려고 애쓰는 걸까요?
원문 구간 2
실시간으로 스스로 학습할 수 있는 범용적인 에이전트가 이미 등장했거나 곧 등장할 것이라면서, 왜 굳이 그런 개별적인 툴 사용법을 가르치는 데 그렇게 많은 공을 들이는지 저로서는 이해하기 어렵습니다. 다리오 아모데이 Dario Amodei : 다른 사람들이 어떤 부분에 방점을 두고 있는지 제가 대신 말할 수는 없습니다. 저는 오직 앤스로픽이 이 문제를 어떻게 바라보고 있는지에 대해서만 말씀드릴 수 있습니다. 우리가 생각하는 방식은 이렇습니다. 우리의 목표는 사전훈련 때와 마찬가지로 강화학습을 통해 모델에게 세상의 모든 가능한 기술을 하나하나 다 가르치는 것이 아닙니다. 사전훈련 단계를 생각해 보십시오. 우리는 단어들이 조합될 수 있는 모든 경우의 수를 모델에게 노출시키려고 하지 않았습니다. 그보다는 모델이 방대한 양의 데이터를 학습하게 한 뒤, 그 과정 전반에 걸쳐 스스로 일반화에 도달하도록 만든 것입니다. 그것이 바로 제가 가까이서 지켜보았던 GPT-1에서 GPT-2로 넘어갈 때의 핵심적인 변화였습니다. 당시 모델이 특정 지점에 도달했을 때, 저는 경이로운 순간들을 경험했습니다. 모델에게 그냥 숫자 목록을 던져줍니다. 이건 집값이고, 이건 집의 평수야라는 식으로요. 그러면 모델이 알아서 패턴을 파악하고 선형 회귀(linear regression) 분석을 해냅니다. 완벽하지는 않아도 어떻게든 해내는 것이죠. 모델은 이전에 그와 정확히 똑같은 데이터를 본 적이 없는데도 말입니다. 따라서 우리가 지금 다양한 강화학습 환경을 구축하고 있는 이유와 목표 역시, 5년이나 10년 전 사전훈련 단계에서 했던 것과 매우 유사합니다. 우리가 지금 방대한 데이터를 모으고 RL 환경을 구축하려는 것은, 모델이 특정 문서의 내용을 외우게 하거나 슬랙, API 같은 특정 기술 하나를 달달 익히게 만들려는 것이 아닙니다.
원문 구간 3
당신은 정확히 몇 년도에 그런 일이 현실이 될 거라고 예측하십니까? 다리오 아모데이 Dario Amodei : 제 추측은 이렇습니다. 기본적으로 우리가 '데이터센터 안의 천재 국가'를 갖게 되면 해결할 수 있는 수많은 문제들이 존재합니다. 그래서 그 시기에 대한 제 머릿속의 그림은... 거듭 말씀드리지만, 굳이 제게 시기를 추측해 보라고 강권하신다면 대략 1~2년, 어쩌면 1~3년 정도 걸릴 것 같습니다. 정확히 언제라고 단정 짓기는 정말 어렵습니다. 하지만 저는 이 모든 일들이 10년 안에는 무조건 일어날 것이라는, 95%~99%에 달하는 강한 확신을 가지고 있습니다. 10년이라는 타임라인은 정말이지 아주 안전한 베팅이라고 생각합니다. 하지만 제 직감으로는, 비록 확률이 50대 50이긴 하지만, 그 시기가 10년보다는 1~3년에 훨씬 더 가까울 것이라고 봅니다. 드와르케시 파텔 : 그러니까 1년에서 3년 사이라는 말씀이군요. 천재 국가 수준의 AI가 등장해서... 음, 그리고 경제적 가치가 약간 떨어지는 제 영상 편집 같은 작업들도 다 해내게 된다는 말씀이시군요. 다리오 아모데이 Dario Amodei : 영상 편집의 경제적 가치도 꽤 높다고 말씀드리고 싶네요. 단지 세상에는 그런 종류의 사용 사례가 엄청나게 많다는 것뿐이죠, 안 그렇습니까? 그와 비슷한 수많은 일들이 세상엔 아주 많으니까요. 책임감 있는 AI CapEx의 의미 "Extremely fast, but not infinitely fast" 드와르케시 파텔 : 그러니까 당신은 1년에서 3년 안에, 음, 그리고 전반적으로 앤스로픽은 2026년 말이나 2027년 초쯤이면 우리가 다음과 같은 AI 시스템을 갖게 될 것이라고 예측해 오셨습니다. 인용하자면, "오늘날 디지털 작업을 하는 인간이 사용하는 인터페이스를 탐색할 수 있는 능력, 노벨상 수상자와 맞먹거나 그를 뛰어넘는 지적 능력, 그리고 물리적 세계와 상호 작용할 수 있는 능력"을 갖춘 AI 말입니다.
원문 구간 4
그런데 당신은 두 달 전 Dealbook과의 인터뷰에서 경쟁사들과 비교해 앤스로픽의 더 '책임감 있는 컴퓨팅 스케일링(responsible compute scaling)'을 강조하셨습니다. 저는 이 두 가지 상충되는 시각의 아귀를 맞춰보려고 노력 중입니다. 만약 당신이 정말로 우리가 '천재 국가'를 갖게 될 것이라고 믿는다면, 당신은 가능한 한 가장 거대한 데이터 센터를 원할 것이고 발전 속도를 늦출 이유가 전혀 없을 텐데요. 실제로 노벨상 수상자가 할 수 있는 모든 일을 해내는 노벨상 수상자급 AI의 총 시장 규모는 수조 달러에 달할 테니까요. 그래서 저는 이 보수적인 태도, 즉 AI 발전에 대해 좀 더 온건하고 느린 타임라인을 예상할 때나 합리적으로 보일 법한 이 보수성이, 당신이 공개적으로 밝혀온 엄청나게 빠른 AI 발전 속도에 대한 견해와 도대체 어떻게 양립할 수 있는지 묻고 싶습니다. 다리오 아모데이 Dario Amodei : 네. 사실 이 모든 것은 하나로 완벽하게 연결되며, 아까 말씀드렸던 빠르지만 무한하게 빠르지는 않은 경제적 확산(diffusion) 이야기로 다시 돌아가게 됩니다. 가령 기술이 이 정도의 속도로 발전하고 있다고 해봅시다. 거듭 말씀드리지만, 저는 우리가 몇 년 안에 AGI에 도달할 것이라는 매우 강한 확신을 가지고 있습니다. 제 직감으로는 1~2년 안일 수도 있죠. 기술적인 측면에서 약간의 불확실성은 있지만, 크게 빗나가지 않을 것이라는 아주 강한 자신감이 있습니다. 하지만 제가 덜 확신하는 부분은 바로 그 경제적 확산의 속도입니다. 저는 1~2년 안에 데이터센터 안의 천재가 있는 국가 수준의 모델을 구현할 수 있다고 정말로 믿습니다. 하지만 여기서 질문은 이것입니다.

사실·구조AI CapEx주 대상 · 투자판단·운용 · AI 인프라 투자

AI Labs의 인프라 투자와 수요 불확실성은 왜 함께 판단해야 하는가

이 자료가 더한 내용

모델 능력은 빠르게 변하는 반면 데이터센터·전력·칩은 먼저 고정 투자해야 하므로, AI Labs는 수요가 얼마나 빨리 실현되는지와 고객의 지불 방식이 불확실한 상태에서 인프라 규모를 결정해야 한다는 구조를 설명한다.

근거 보기 3

원문 구간 1
그래서 결국 경영자라면, 차라리 그 $20B를 유저들에게 추론 서비스를 제공하여 돈을 버는 데 쓰거나, 혹은 자기 일을 기가 막히게 잘해내는 초일류 엔지니어들을 고용하는 데 투자하는 편이 낫다는 결론에 도달하게 될 겁니다. 따라서 제가 앞서 '50%'라고 말했던 것은 그것이 우리의 고정된 목표치이기 때문이 아닙니다. 정확히 50%로 고정되지도 않을 것이고, 상황과 시간에 따라 변동하겠죠. 제가 말씀드리고 싶은 핵심은 이 '로그 선형적 수익' 구조가 이끄는 결론입니다. 이 수학적 구조 때문에 결국 기업은 비즈니스 자원의 극단적이지 않은 합리적인 비율(order one fraction)만을 연구에 쓰게 된다는 것입니다. 5%처럼 너무 적지도 않고, 95%처럼 맹목적으로 많지도 않게 말이죠. 그 선을 넘어가게 되면 이른바 벽에 부딪히기 때문에 지독한 수확 체감(diminishing returns)의 함정에 빠지게 됩니다. 드와르케시 파텔 : 당신은 수확 체감의 법칙 때문에 연구에만 무한정 투자하지는 않지만, 앞서 언급하셨던 다른 요소들에는 투자를 하신다는 뜻이군요. 다리오 아모데이 Dario Amodei : 앤스로픽 내부의 구체적인 정보를 말씀드리고 싶지는 않아서 이런 단순화된 숫자들을 예시로 드는 것입니다만, 업계 전체의 균형점을 한번 도출해 봅시다. 왜 모든 기업이 자신들이 가진 컴퓨팅의 100%를 모델 훈련에만 쏟아붓고 고객에게는 추론하지 않는 경우는 택하지 않는 걸까요? 만약 그들이 매출을 전혀 내지 못한다면, 투자금을 유치할 수도 없고, 컴퓨팅 계약을 맺을 수도 없으며, 내년에 쓸 컴퓨팅 자원을 추가로 구매할 수도 없기 때문입니다. 따라서 모든 기업이 훈련에 100% 미만을 쓰고, 당연히 추론에도 100% 미만을 쓰는 어떤 균형점이 존재하게 될 것입니다.
원문 구간 2
반대로 단순히 현재 모델만 서비스하면서 새로운 모델을 전혀 학습시키지 않는 이유도 명확합니다. 그렇게 하면 기술 경쟁에서 뒤처져서 결국 수요 자체가 사라져 버릴 테니까요. 즉, 어떠한 균형점이 있습니다. 그게 10%는 아닐 거고, 90%도 아닐 겁니다. 그냥 이해를 돕기 위한 단순화된 사실로서 그게 50%라고 가정해 보죠. 이게 제가 말씀드리려는 요지입니다. 그리고 제 생각에 우리는 머지않아, 그 훈련에 들이는 비용의 균형점이 컴퓨팅을 통해 얻을 수 있는 GPM보다 낮아지는 위치에 도달할 것입니다. 따라서 근본적인 경제 구조 자체는 흑자를 내게 되어 있습니다. 문제는 내년도 컴퓨팅 자원을 미리 구매할 때 겪게 되는 이 지옥 같은 수요 예측의 난제입니다. 수요를 과소평가하면 아주 큰 흑자를 내겠지만 연구에 쓸 컴퓨팅 자원이 바닥날 것이고, 수요를 과대평가하면 적자를 보겠지만 세상에서 가장 많은 연구용 컴퓨팅 자원을 갖게 되겠죠. 업계 전체의 역동적인 모델로서 이 설명이 좀 타당하게 들리시나요? 드와르케시 파텔 : 당신이 방금 설명해 주신 그 최종 결론(수요 예측의 어려움과 신중한 자본 배치)은 제게도 아주 타당하고 합리적으로 들립니다. 하지만 그게 타당하게 들리는 이유는, "아, AGI를 실현하는 것은 여전히 무척 어렵고 아직 갈 길이 한참 멀구나"라고 전제했을 때의 이야기입니다. 그래서 다시 본질로 돌아가 제가 정말 묻고 싶은 것은 이겁니다. 당신이 지금 보여주고 있는 세계관과 비즈니스적 판단들은, 사실 "우리가 수조 달러의 수익을 창출하는 세상으로부터 아직 한 10년쯤은 떨어져 있다"고 말하는 사람의 태도와 훨씬 더 앞뒤가 잘 맞는 것 같습니다. 다리오 아모데이 Dario Amodei : 그건 전혀, 단연코 제 견해가 아닙니다.
원문 구간 3
제 생각은 절대 그렇지 않습니다. 음, 그래서 제가 다시 한번 확실한 예측을 해보겠습니다. 저는 2030년 이전에 수조 달러 규모의 수익이 창출되지 않을 것이라고는 도저히 상상하기 어렵습니다. 음, 제가 가장 그럴듯한(plausible) 시나리오 하나를 구성해 보죠. 아마 3년 정도 걸릴 수 있습니다. 그게 제가 생각하는 가장 늦춰진 타임라인의 끝자락일 겁니다. 가령 2028년에, 우리는 데이터센터 안에서 진짜 천재들이 가득한 국가를 얻게 됩니다. 아시다시피, 2028년쯤 되면 업계의 매출은 아마 $200~300B(low hundreds of billions)에 진입해 있을 것이고, 그때 완성된 이 천재국가가 그 매출을 단숨에 수조 달러 규모로 가속화하는 겁니다. 그리고 이 시나리오는 기본적으로 기술의 경제적 확산(diffusion)이 가장 느리게 일어나는 최악의 경우(slow end)를 가정한 겁니다. 수조 달러에 도달하는 데 AGI 완성 후 2년이나 더 걸린다고 치는 거니까요. 그것이 바로, 그 시나리오가 바로 수익 창출이 2030년까지 지연되는 세상의 모습입니다. 제 생각에는 기술 발전의 지수함수적 성장(technical exponential)과 경제적 확산의 지수함수적 성장(diffusion exponential)을 모두 결합해 보더라도, 우리는 분명 2030년 이전에 그곳에 도달할 것입니다. 글쎄요, 제 생각에 수익이 창출되는 방식은 이렇습니다. 자, 여기서 전체 산업을 한번 추상화해 봅시다. 마치 우리가 경제학 교과서 안에 들어와 있다고 상상해 보는 겁니다. 시장에 소수의 기업들이 존재합니다. 각 기업은 제한된 금액을, 혹은 자본의 일정 비율을 R&D에 투자할 수 있습니다.

해석·전망AI Labs 수익성주 대상 · 산업·업종 · AI Labs

AI Labs는 왜 적자를 내며 어떤 조건에서 구조적 흑자를 논의하는가

이 자료가 더한 내용

수요가 늘어날 때 인프라를 미리 확보하는 단기 적자와, 스케일링의 한계수익 체감 때문에 연구비를 무한히 늘리지 않는 장기 구조를 구분한다. API와 성과 기반·시간당 노동력에 가까운 가격 모델이 병존할 수 있다는 것은 아모데이의 전망이다.

근거 보기 4

원문 구간 1
반대로 단순히 현재 모델만 서비스하면서 새로운 모델을 전혀 학습시키지 않는 이유도 명확합니다. 그렇게 하면 기술 경쟁에서 뒤처져서 결국 수요 자체가 사라져 버릴 테니까요. 즉, 어떠한 균형점이 있습니다. 그게 10%는 아닐 거고, 90%도 아닐 겁니다. 그냥 이해를 돕기 위한 단순화된 사실로서 그게 50%라고 가정해 보죠. 이게 제가 말씀드리려는 요지입니다. 그리고 제 생각에 우리는 머지않아, 그 훈련에 들이는 비용의 균형점이 컴퓨팅을 통해 얻을 수 있는 GPM보다 낮아지는 위치에 도달할 것입니다. 따라서 근본적인 경제 구조 자체는 흑자를 내게 되어 있습니다. 문제는 내년도 컴퓨팅 자원을 미리 구매할 때 겪게 되는 이 지옥 같은 수요 예측의 난제입니다. 수요를 과소평가하면 아주 큰 흑자를 내겠지만 연구에 쓸 컴퓨팅 자원이 바닥날 것이고, 수요를 과대평가하면 적자를 보겠지만 세상에서 가장 많은 연구용 컴퓨팅 자원을 갖게 되겠죠. 업계 전체의 역동적인 모델로서 이 설명이 좀 타당하게 들리시나요? 드와르케시 파텔 : 당신이 방금 설명해 주신 그 최종 결론(수요 예측의 어려움과 신중한 자본 배치)은 제게도 아주 타당하고 합리적으로 들립니다. 하지만 그게 타당하게 들리는 이유는, "아, AGI를 실현하는 것은 여전히 무척 어렵고 아직 갈 길이 한참 멀구나"라고 전제했을 때의 이야기입니다. 그래서 다시 본질로 돌아가 제가 정말 묻고 싶은 것은 이겁니다. 당신이 지금 보여주고 있는 세계관과 비즈니스적 판단들은, 사실 "우리가 수조 달러의 수익을 창출하는 세상으로부터 아직 한 10년쯤은 떨어져 있다"고 말하는 사람의 태도와 훨씬 더 앞뒤가 잘 맞는 것 같습니다. 다리오 아모데이 Dario Amodei : 그건 전혀, 단연코 제 견해가 아닙니다.
원문 구간 2
제 생각은 절대 그렇지 않습니다. 음, 그래서 제가 다시 한번 확실한 예측을 해보겠습니다. 저는 2030년 이전에 수조 달러 규모의 수익이 창출되지 않을 것이라고는 도저히 상상하기 어렵습니다. 음, 제가 가장 그럴듯한(plausible) 시나리오 하나를 구성해 보죠. 아마 3년 정도 걸릴 수 있습니다. 그게 제가 생각하는 가장 늦춰진 타임라인의 끝자락일 겁니다. 가령 2028년에, 우리는 데이터센터 안에서 진짜 천재들이 가득한 국가를 얻게 됩니다. 아시다시피, 2028년쯤 되면 업계의 매출은 아마 $200~300B(low hundreds of billions)에 진입해 있을 것이고, 그때 완성된 이 천재국가가 그 매출을 단숨에 수조 달러 규모로 가속화하는 겁니다. 그리고 이 시나리오는 기본적으로 기술의 경제적 확산(diffusion)이 가장 느리게 일어나는 최악의 경우(slow end)를 가정한 겁니다. 수조 달러에 도달하는 데 AGI 완성 후 2년이나 더 걸린다고 치는 거니까요. 그것이 바로, 그 시나리오가 바로 수익 창출이 2030년까지 지연되는 세상의 모습입니다. 제 생각에는 기술 발전의 지수함수적 성장(technical exponential)과 경제적 확산의 지수함수적 성장(diffusion exponential)을 모두 결합해 보더라도, 우리는 분명 2030년 이전에 그곳에 도달할 것입니다. 글쎄요, 제 생각에 수익이 창출되는 방식은 이렇습니다. 자, 여기서 전체 산업을 한번 추상화해 봅시다. 마치 우리가 경제학 교과서 안에 들어와 있다고 상상해 보는 겁니다. 시장에 소수의 기업들이 존재합니다. 각 기업은 제한된 금액을, 혹은 자본의 일정 비율을 R&D에 투자할 수 있습니다.
원문 구간 3
그리고 고객에게 서비스를 제공하는 데 드는 한계 비용(marginal cost)이 존재하죠. 그런데 이 한계 비용 대비 GPM은 매우 높습니다. 왜냐하면 추론과정이 꽤 효율적이기 때문입니다. 물론 시장에 어느 정도 경쟁은 존재하지만, 각 기업의 AI 모델들은 서로 차별화되어 있습니다. 당연히 기업들은 자신들의 연구 예산을 한껏 끌어올리기 위해 서로 치열하게 경쟁할 것입니다. 하지만 시장에 참여하는 플레이어의 수가 소수이기 때문에, 쿠르노 균형(Cournot equilibrium)이라고 하던가요? 제 기억에 소수 기업이 지배하는 과점 시장의 균형을 뜻하는 용어가 그거였던 것 같네요. 제가 말하려는 핵심은 이겁니다. 이 AI 시장은 기업들의 이윤이 0으로 수렴해 버리는 완전 경쟁(perfect competition) 상태로 절대 균형을 이루지 않는다는 것입니다. 경제 체제 안에 만약 세 개의 거대 기업이 존재하고, 그 셋이 각자 독립적이면서도 합리적으로 행동한다면, 이 시장의 이익은 결코 '0'으로 수렴하지 않습니다. 드와르케시 파텔 : 제가 이해할 수 있게 좀 도와주시죠. 왜냐하면 지금 현재 시점에도 시장을 선도하는 선두 기업 세 곳이 엄연히 존재하지만, 그들은 전혀 흑자를 내지 못하고 있으니까요. 음, 그렇다면 도대체 무엇이, 어, 네, 앞으로 도대체 무엇이 변한다는 겁니까? 다리오 아모데이 Dario Amodei : 거듭 말씀드리지만, 현재 AI 비즈니스의 GPM은 매우 긍정적입니다. 지금 벌어지고 있는 적자 상황은 크게 두 가지 요소가 결합된 결과입니다. 첫 번째는 우리가 아직 컴퓨팅 투자의 지수함수적 확장 단계 한가운데에 있다는 점입니다. 기본적으로 그게 무슨 뜻이냐면, 예를 들어 작년에 $1B를 들여서 어떤 AI 모델을 하나 훈련시켰다고 가정해 봅시다.
원문 구간 4
그리고 올해 그 모델이 $4B의 매출을 올렸고, 유저들에게 서비스를 제공하는 데 $1B의 비용이 들었다고 해보죠. 다시 한번 말씀드리지만 이건 이해를 돕기 위한 단순화된 숫자입니다만, 이 경우 GPM은 75%가 되고, 25%의 추론 비용이 발생한 셈입니다. 결과적으로 <매출 40억 - 추론 10억 - 작년 훈련비 10억> 그 단일 모델 자체만 놓고 보면 $2B의 순수익을 낸 것입니다. 하지만 동시에, 우리는 다음 세대 모델을 학습시키는 데 $10B를 쏟아붓고 있습니다. 왜냐하면 지수함수적인 스케일업 경쟁이 벌어지고 있기 때문이죠. 바로 이래서 회사 전체로는 돈을 잃는 것입니다. 핵심은 이것입니다. 개별 모델은 돈을 벌지만, 회사는 적자를 봅니다. 제가 앞서 말씀드린 균형점이라는 것은, 우리가 마침내 AGI를 갖게 되는 시점의 균형을 뜻합니다. 데이터센터 안에 천재들이 사는 국가를 구축했지만, 그 거대한 모델 훈련비용의 팽창 속도가 마침내 어느 정도 평형을 이룬 상태 말입니다. 물론 그때도 여전히 투자 규모는 올라가고 있을 테고, 우리는 계속해서 수요를 예측하려 애쓰고 있겠지만, 지금처럼 10배씩 뛰는 것이 아니라 훨씬 더 완만하게 평탄화된(leveled out) 상태일 것입니다. 드와르케시 파텔 : 현재의 세계부터 먼저 짚고 넘어가 보죠. 음, 현재 상황에서 당신의 말이 맞습니다. 아까 말씀하셨듯, 각각의 개별 모델을 하나의 독립된 회사로 취급한다면 확실히 수익을 내고 있는 게 맞죠. 하지만 당연하게도, 최전선에 있는 AI 연구소로서 생존하기 위한 생산 함수(production function)의 가장 큰 부분은 바로 '다음 세대 모델을 학습시키는 것' 아닙니까?

사실·구조앤스로픽 Claude Code주 대상 · 기업·종목 · 앤스로픽관련 대상 · 기술·제품 · Claude Code

내부 사용은 Claude Code의 제품 출시와 개선에 어떻게 연결됐는가

이 자료가 더한 내용

앤스로픽은 코딩 모델을 내부 연구 가속에 사용하면서 직원들의 빠른 채택을 확인했고, 이를 제품-시장 적합성의 신호로 보고 외부 출시했다. 내부 사용자와 수백만 외부 사용자로부터 받는 피드백이 제품 반복에 쓰인다고 설명한다.

근거 보기 3

원문 구간 1
만약 우리가 인간과 같은 방식으로 학습할 수 있는 능력을 갖추게 된다면 로보틱스 문제 역시 즉시 해결되지 않을까 싶습니다. 다리오 아모데이 Dario Amodei : 인간과 같은 학습 방식에 반드시 의존해야 한다고 생각하지는 않으며 여러 가지 다른 방식으로도 충분히 가능합니다. 예를 들어 로봇 제어와 유사한 다양한 비디오 게임이나 수많은 로봇 시뮬레이션 환경에서 모델을 학습시킬 수도 있고, 혹은 컴퓨터 화면을 제어하도록 훈련시켜 일반화 능력을 얻게 할 수도 있습니다. 따라서 로보틱스의 발전은 결국 일어날 일입니다. 꼭 인간과 똑같은 학습 방식이 필요한 것은 아닙니다. 인간 같은 학습은 하나의 경로일 뿐입니다. 모델이 로봇을 처음 접했을 때 사용하는 법을 모른다 해도 직접 배우는 과정은 우리가 지속적 학습 기술을 발전시킴으로써 가능해질 수 있습니다. 또는 수많은 환경에서 모델을 훈련해 일반화시키거나, 모델이 주어진 컨텍스트 내에서 정보를 처리하며 배울 수도 있습니다. 사실 어떤 방식인지는 중요하지 않습니다. 우리가 앞서 대화했던 것처럼 이러한 일은 여러 경로를 통해 발생할 수 있습니다. 하지만 어떤 이유로든 모델이 그런 기술을 갖추게 된다면 로보틱스 분야에는 혁명이 일어날 것이라고 확신합니다. 모델은 로봇 설계 면에서 인간보다 훨씬 뛰어날 것이고 제어 능력 또한 탁월할 것이기 때문입니다. 결과적으로 물리적인 로봇 하드웨어를 제작하는 기술과 이를 정교하게 제어하는 능력 모두가 비약적으로 발전할 것입니다. 그렇다면 로보틱스 산업이 수조 달러의 수익을 창출하게 될까요? 제 대답은 그렇다입니다. 다만 매우 빠르면서도 동시에 무한히 빠르지는 않은 확산 속도를 보일 것입니다.
원문 구간 2
로보틱스가 완전히 혁신되는 시점은 아마도 다른 분야보다 1, 2년 정도 더 걸릴 것이라고 생각합니다. 이것이 제가 이 문제를 바라보는 방식입니다. 드와르케시 파텔 : 극도로 빠른 진전에 대해서는 일반적인 회의론이 존재합니다. 제 생각은 이렇습니다. 아마 당신은 몇 년 안에 어떤 방식으로든 지속적 학습 문제를 해결하게 될 것입니다. 하지만 불과 몇 년 전만 해도 아무도 지속적 학습에 대해 이야기하지 않았습니다. 그러다 모델들이 튜링 테스트를 통과하고 수많은 분야에서 전문가 수준의 능력을 보여줌에도 불구하고, 왜 지금 당장 기대만큼 유용하지 않은지 고민하면서 그 원인을 깨닫게 된 것이죠. 아마도 문제는 이것일 테니 이걸 해결하자고 말입니다. 그런데 이 문제를 해결하고 나면, 앞으로도 이런 일이 계속 생길 것이라고 생각하지 않을 이유가 있을까요. 우리가 이미 인간 지능의 구성 요소들을 모두 찾아냈다고 확신하는 이유가 무엇인지 궁금합니다. 다리오 아모데이 Dario Amodei : 사실 분명히 말씀드리면, 제가 전에도 언급했듯이 지속적 학습은 전혀 장벽이 아닐 수도 있습니다. 사전훈련의 일반화와 강화 학습의 일반화 과정을 통해 자연스럽게 그 단계에 도달할 수 있다고 보기 때문입니다. 기본적으로는 그런 문제 자체가 존재하지 않을 수도 있다는 생각입니다. 실제로 머신러닝의 역사를 되짚어보면, 사람들이 결정적인 장벽이라고 주장했던 것들이 거대한 컴퓨팅 연산 능력 안에서 결국 자연스럽게 해소되었던 사례가 많습니다. 과거에는 모델이 명사와 동사를 어떻게 구분하는지, 혹은 문법적으로는 그럴듯해도 의미론적으로는 이해하지 못한다거나 단순히 통계적 상관관계에 불과하다는 비판이 있었습니다.
원문 구간 3
문단은 파악해도 단어의 본질은 모른다거나 추론은 절대 불가능하다는 의견도 있었죠. 하지만 결과적으로 모델은 코딩과 수학을 매우 훌륭하게 해내기 시작했습니다. 이처럼 큰 문제처럼 보였던 것들이 결국 해결되어 사라졌던 역사가 훨씬 더 빈번했습니다. 물론 데이터의 필요성처럼 실재하는 제약도 있고, 지속적 학습 역시 실제적인 과제일 수는 있습니다. 하지만 코딩의 사례를 다시 떠올려보세요. 저는 1~2년 안에 모델이 특정 과업을 처음부터 끝까지 스스로 완수하는 단계에 이를 것이라고 봅니다. 그것은 인간 활동의 한 영역 전체를 모델이 온전히 수행할 수 있게 됨을 의미합니다. 드와르케시 파텔 : 제가 비전문가인데, 현장의 가장 전문가에게 이런 얘기를 드리고 있는 상황이 참재밌네요. 다리오 아모데이 Dario Amodei : 우리 모두가 이 문제를 함께 파악하려고 노력하고 있습니다. 물론 요즘 제가 다른 사람들이 보지 못하는 것들을 일부 볼 수 있는 면도 있긴 합니다. 하지만 그것은 제가 남들이 갖지 못한 대단한 연구적 통찰력을 가졌기 때문이라기보다는, 앤스로픽 내부의 수많은 상황을 지켜보고 수많은 결정을 내려야 하는 위치에 있기 때문일 가능성이 큽니다. 저는 현재 2,500명 규모의 회사를 경영하고 있습니다. 그래서 실제로 10년 전이나 심지어 2~3년 전과 비교했을 때, 지금 제가 구체적인 연구적 통찰력을 유지하는 것은 사실 훨씬 더 어려운 일이 되었습니다. 드와르케시 파텔 : 원격 근무자를 완전히 대체할 수 있는 세상으로 나아가게 된다면, 기존의 API 가격 모델이 여전히 가장 합리적이라고 보시나요? 만약 그렇지 않다면, AGI의 가격을 책정하거나 서비스를 제공하는 가장 적절한 방식은 무엇이라고 생각하시는지 궁금합니다.

해석·전망AI 기술 확산주 대상 · 산업·업종 · 인공지능 산업

AI 능력의 발전과 경제·물리 세계의 확산 속도는 왜 다를 수 있는가

이 자료가 더한 내용

AI가 지식노동과 로봇 설계·제어에 큰 변화를 만들 수 있다는 전망과 함께, 물리 세계의 구축 시간, 인프라, 정책과 사회적 선택 때문에 확산은 매우 빠르지만 무한히 빠르지는 않을 것이라는 견해를 제시한다.

근거 보기 4

원문 구간 1
그렇지 않습니까? 결국 우리가 흔히 '학습'이라고 생각하는 과정, 예를 들어 '아, 이 직장에 새로 들어왔으니 이 방대한 코드베이스를 파악하고 적응하려면 최소 6개월은 걸리겠구나'라고 인간이 체념하듯 받아들이던 그 기나긴 적응 기간을, AI 모델은 프롬프트의 컨텍스트 윈도우 안에서 단숨에 해결해 버린 것입니다. 드와르케시 파텔 : 이 문제를 어떻게 받아들이실지는 모르겠지만, 정성적으로 체감상 생각보다 생산성이 안 늘어나는 것 같다고 말하는 경우들이 있는데 그러면 실제로 생산성 혁신이 뭐에 있다고 딱 주장할 내용이 뭐가 있을까요? 다리오 아모데이 Dario Amodei : 앤스로픽 내부에서는 이 문제가 아주 명백합니다. 우리는 엄청난 상업적 압박을 받고 있고, 우리가 고수하는 그 수많은 안전 관련 조치들 때문에 스스로를 더 힘들게 만들고 있습니다. 제 생각에 우리는 다른 어떤 회사들보다도 AI 안전에 훨씬 더 많은 공을 들이고 있으니까요. 그래서 우리의 핵심 가치를 지키면서 동시에 경제적으로 살아남아야 한다는 압박감은 정말 상상을 초월합니다. 우리는 매년 10배씩 성장하는 이 수익 곡선을 계속 유지하려고 사활을 걸고 있습니다. 그렇기 때문에 우리에게는 허튼수작(Bullshit)을 부릴 시간이 전혀 없습니다. 실제로는 생산적이지도 않은데 그저 주관적인 느낌만으로 스스로 생산적이라고 착각하며 허송세월할 시간 따위는 1초도 없다는 뜻입니다. 이 도구들은 실제로 우리를 훨씬 더 생산적으로 만들어줍니다. 우리가 왜 경쟁사들이 이 코딩 도구들을 사용하는 것을 그토록 경계한다고 생각하십니까? 우리가 경쟁사들보다 앞서 있다고 확신하며, 그들이 이 도구를 써서 개발 속도를 가속하는 것을 원치 않기 때문입니다. 만약 이 도구들이 당신이 말한 연구 결과처럼 남몰래 우리의 실제 생산성을 깎아먹고 있는 것이라면, 우리가 왜 굳이 이런 수고를 감수하겠습니까?
원문 구간 2
그저 더 긴 문맥으로 모델을 훈련시키고, 추론 과정에서 이를 서비스할 방법만 찾아내면 됩니다. 이 두 가지 모두 순수한 엔지니어링 문제이며, 우리는 지금 이 순간에도 이 문제를 풀고 있습니다. 드와르케시 파텔 : 그러니까 이 컨텍스트 윈도우 규모 확장에 대해 이야기해 보죠. 2020년부터 2023년까지, GPT-3에서 GPT-4 Turbo로 넘어오면서 문맥 길이가 2,000토큰 수준에서 128,000토큰으로 급격히 증가했던 시기가 있었습니다. 그런데 그 이후로 약 2년여 동안은 우리가 대략 비슷한 수준에 정체되어 있다는 느낌이 듭니다. 게다가 모델의 문맥 길이를 그보다 훨씬 길게 늘리면, 모델이 그 방대한 문맥 전체를 제대로 고려하고 처리하는 능력에서 질적인 저하(qualitative degradation)가 발생한다고 사람들은 보고하고 있습니다. 그래서 저는 앤스로픽 내부적으로 도대체 어떤 지표나 성과를 보고 계시기에, "인간의 6개월 치 실무 학습량에 맞먹는 1,000만 토큰, 1억 토큰, 심지어 10억 토큰의 컨텍스트 윈도우 확장이 충분히 가능하겠구나"라고 확신하시는지 궁금합니다. 다리오 아모데이 Dario Amodei : 이건 연구차원의 문제가 아닙니다. 철저하게 엔지니어링과 추론의 문제죠. 만약 엄청나게 긴 컨텍스트를 유저에게 서비스하려고 한다면, 전체 KV cache를 전부 저장해야만 합니다. GPU 메모리 안에 그 막대한 데이터를 다 집어넣고, 그 메모리들을 이리저리 굴리며 조율하는 것은 정말 까다로운 일입니다. 솔직히 고백하자면 현시점에서는 저조차도 그 세부적인 디테일까지는 다 알지 못합니다. 제가 GPT-3를 만들던 시절만 해도 "이게 가중치(weights)고, 이게 활성화 값(activations)이니까 이렇게 저장해야 해"라며 다 꿰고 있었지만, 지금은 제가 직접 따라가기 어려울 정도로 기술적 디테일의 수준이 너무 높아졌거든요.
원문 구간 3
수요 과소평가(흑자 발생 / 연구 지연) : 유저 수요가 폭발하면, 서비스를 감당하기 위해 연구에 배정할 컴퓨팅까지 끌어와야 합니다. 추론의 마진율이 높으므로 엄청난 흑자(GPM 상승)를 내지만, 차세대 모델 연구 속도는 느려집니다. 장기적 메커니즘 : 스케일링의 한계 도달과 '구조적 흑자' 전환 현재 AI 기업들이 적자를 보는 근본적인 이유는 모델 자체의 수익성이 떨어져서가 아닙니다. 개별 모델은 돈을 벌고 있지만, 다음 세대 모델을 학습시키는 데 매년 10배(log scale)의 자본을 쏟아붓고 있기 때문입니다. 성장의 한계선 도달 : 하지만 이 10배씩 뛰는 투자 규모는 영원할 수 없습니다. 언젠가 물리적 한계나 전 세계 GDP 규모라는 경제적 상한선에 부딪히게 됩니다. 투자 평탄화와 대규모 흑자 : 이 임계점에 도달하면, 차세대 모델을 훈련하는 비용이 이전 모델 훈련 비용과 엇비슷해지는 '평형 상태'가 옵니다. 지수함수적 비용 팽창이 멈추고, AGI(데이터센터 안의 천재 국가)가 창출하는 막대한 부가가치가 온전히 회사의 이익으로 쌓이면서 진정한 의미의 거대한 구조적 흑자가 시작됩니다. 드와르케시 파텔 : 제가 제대로 이해한 게 맞다면, 우리가 확보했어야 할 컴퓨팅의 양과 실제로 확보한 컴퓨팅 양 사이의 불일치 때문에, 우리가 어쩌다 보니 일종의 '강제 흑자(forced to make profit)'를 내게 된 상황이라는 말씀이시군요. 하지만 그렇다고 해서 우리가 앞으로도 계속 흑자를 낼 거란 뜻은 아니고요. 오히려 우리는 그 돈을 다시 재투자하게 될 것입니다. 왜냐하면, 글쎄요, 이제 AI가 엄청난 발전을 이뤘고 우리는 더 거대한 '천재 국가'를 원하게 될 테니까요. 그래서 결국 다시, 어, 매출은 높지만 그만큼 적자 역시 엄청나게 높은 상태로 되돌아가게 된다는 뜻이군요.
원문 구간 4
다리오 아모데이 Dario Amodei : 만약 우리가 예측한다면, 그러니까 매년 유저의 수요가 정확히 어느 정도일지 완벽하게 예측해 낼 수만 있다면, 우리는 매년 꾸준히 흑자를 낼 것입니다. 왜냐하면 대략적으로 전체 컴퓨팅 자원의 50%를 연구에 쓰고 나머지 50%를 서비스에 쓰는데, 이 서비스의 GPM이 50%보다 높기 때문입니다. 즉, 정확한 수요 예측은 곧 흑자로 이어집니다. 그것이 바로 제가 생각하는 이 비즈니스의 진짜 모습입니다. 기저에는 분명히 수익을 내는 탄탄한 비즈니스 모델이 존재하지만, 현실에서는 수년 앞서 데이터센터를 미리 지어둬야 하는 선제적 인프라 구축(building ahead)과 불가피하게 발생하는 예측의 오차(prediction errors)라는 장막에 가려져 잘 보이지 않을 뿐이죠. 드와르케시 파텔 : 제 생각에 당신은 그 50%라는 수치를 일종의 주어진 고정 상수처럼 취급하고 계신 것 같군요. 하지만 실제로는 다르지 않을까요? 만약 AI의 발전 속도가 엄청나게 빠르고, 연산량 규모를 더 키워서 그 발전 속도를 더욱 가속할 수 있다면, 당신은 당연히 50%가 넘는 자원을 연구에 쏟아부을 것이고 결국 적자를 감수하게 될 텐데 말이죠. 다리오 아모데이 Dario Amodei : 당신 말대로 규모를 더 키우고 싶을 수도 있습니다. 연산량을 더 끌어올리고 싶을 수 있죠. 하지만, 스케일링에 따른 로그 수익(log returns, 로그 함수적 수확)의 법칙을 기억하셔야 합니다. 만약 연구 비중을 50%에서 70%로 늘린다고 가정해 봅시다. 그러면 연산량은 1.4배 증가하겠지만, 정작 모델 성능의 향상폭은 아주 미미할 것입니다. 거기에 추가로 쏟아부은 $20B의 투자는, 그러니까 그 돈의 1달러당 가치는 이 '로그 선형(log-linear)' 구조 때문에 회사에 훨씬 적은 효용을 가져다주게 됩니다.

시간흐름대로 모든 내용을 살려 정리

원문 흐름 1

[원문 유형] 네이버 프리미엄 콘텐츠
[채널] 올바른 미국주식 by SAPIENS
[게시일] 2026.03.27. 오후 6:14
[원문 URL] https://contents.premium.naver.com/sapiens/sapiensasset/contents/260327181400277ti
[제목] 앤스로픽 CEO 다리오 아모데이 인터뷰 : AGI로 벌어들일 수조 달러의 매출, "Extremely fast, but not infinitely fast"
[수집 기준] 승인된 구독 열람권으로 실제 본문을 보존했다. 이미지·첨부는 별도 미디어 원장에 보관하며 시각적 의미 검토 여부를 구분한다.

[구독 원문 본문]

안녕하세요 올바른입니다.

AI 심화편 자료입니다. AI 투자자라면 꼭 한 번 읽어보셔야 할 자료입니다. 다시금 AI CapEx 사이클의 본질에 한 발짝 더 다가갈 수 있는 자료입니다. 전체를 한입에 삼키시는 것이 좋습니다.

"Extremely fast, but not infinitely fast" 안에 담긴 의미가 중요합니다. AI Labs 비즈니스는 본질적으로 일반적인 기업들의 BEP 흑자전환 시나리오와 많은 면에서 다릅니다.

단기적으로 GPM이 다르고, 장기적으로 구조적 흑자를 내는 시나리오의 설정이 다릅니다. AI 사이클 내의 미묘한 디테일들의 차이들을 느껴볼 수 있는 자료입니다.

SemiAnalysis 인터뷰

2026-03-05

AI 사이클 한 눈에 보기, SemiAnalysis 인터뷰 : "거품은 없다. ARR $100B가 온다" (바로가기)

2025-09-26

AI 사이클 한 눈에 보기, SemiAnalysis 인터뷰 : 승부사 젠슨황 그리고 화웨이의 역습 (바로가기)

엔비디아 (NVDA)

2026-03-17

원문 흐름 2

엔비디아 GTC 2026 : 7개의 칩, 5개의 랙 시스템, 그리고 하나의 AI 슈퍼컴퓨터 (바로가기)

2026-02-26

엔비디아 4Q25 실적발표 : 담백한 실적발표, 핵심은 모두 그린라이트 (바로가기)

2026-01-02

엔비디아가 $20B를 주고 데려온 남자 : Groq 창업자 조나단 로스의 통찰 (바로가기)

광학 (Optics)

2026-03-20

OFC 2026 : 광학이 중요해지고 있는 이유들, 태풍의 눈에 있는 두 가지 기업 분석 (바로가기)

2026-03-13

AI 인프라의 새로운 병목 '광학' : 앞으로의 2~3년 가파른 채택곡선 (트랜시버, OCS, CPO) (바로가기)

2026-03-06

비아비 솔루션스(VIAV) 기업분석 : 광학의 시대, 더 많은 테스트가 필요해 (바로가기)

메모리 (Memory)

2026-03-19

마이크론 1Q26 실적발표 : 흔들릴 이유가 없는 어닝서프라이즈, 구조적 성장주로 거듭나기 (바로가기)

2025-01-21

추론의 시대, 핵심이 된 메모리 : 메모리 쇼티지를 떠받치고 있는 힘 (바로가기)

2026-01-07

엔비디아 CES 2026 : Vera Rubin의 시대, ICMS가 불러올 메모리 지각변동 (바로가기)

네오클라우드 (Neocloud)

2026-02-22

네오클라우드 뜯어보기 #2 : 새로운 시대의 AI 계급도, 전력을 돈으로 바꾼 Powered Shell (바로가기)

2026-02-10

네오클라우드 뜯어보기 : GPU 임대의 경제학, 네오클라우드 BIG 4 비교분석 (바로가기)

큰 흐름 읽기 (Bird's-eye view)

2025-12-17

원문 흐름 3

AI 버블론을 잠재우는 숫자들 : 엔터프라이즈 AI $37B 시장의 현주소 (바로가기)

2025-10-08

오픈AI 퇴사자의 글 #1 : 2027년 AGI가 온다 (바로가기)

투자자문 서비스에 따른 투자 시 원금 손실이 발생할 수 있으며, 투자 손익에 대한 책임은 전적으로 고객에게 귀속됩니다. 또한 과거의 투자수익이 미래의 수익률을 보장하지 않습니다.

신규 구독 전에, 아래 투자자문계약 권유문서의 계약 관련 제반 사항을 반드시 읽으시고 충분히 검토하시기 바랍니다.

*투자자문계약 권유문서 : https://naver.me/5ZST47Qf

우리는 이미 끝자락에 서 있다 : 암기를 넘어 일반화의 시대로

데이터센터 안의 천재들의 국가 : 1~3년 내 50%, 10년 내 90%

AGI는 세상을 어떻게 배울까 : 연속 학습, Computer Use, 컨텍스트 윈도우 내의 학습

책임감 있는 AI CapEx의 의미 : "Extremely fast, but not infinitely fast"

AI Labs는 흑자를 낼 수 있을까? : 그렇다면 지금은 왜 적자를 내고 있는가?

'지금'을 생각하다 : 누군가 이 시대를 회상한다면...

다리오 아모데이 Dario Amodei

2026년 2월 14일, Anthropic 공동창업자 겸 CEO

우리는 이미 끝자락에 서 있다

암기를 넘어 일반화의 시대로

*2026년 2월 14일에 올라왔던 팟캐스트입니다. 당시 4Q25 실적발표 한복판이었어서 깊게 전해드리진 않았었고 대신 팟캐스트가 나왔던 직후 <주간전략보고 : 투자의 생각 (2월 16일~2월 20일)>에서 가볍게 가장 중요한 것만 훑고 넘어갔던 앤스로픽 CEO 다리오 아모데이의 드와르케시 파텔 팟캐스트 원문입니다. 2시간 22분 19초짜리 내용인데 지정학적인 내용이나 AI 헌법 등에 대한 내용들은 제외하고, AI 산업에 대한 이해를 높이기에 좋다고 생각한 부분들만 따로 정리했습니다.

원문 흐름 4

드와르케시 파텔 Dwarkesh Patel : 개인적으로 궁금한 점이 있습니다. 당신이 보기에 지난 3년 동안 있었던 가장 큰 변화는 무엇이라고 생각하나요? 3년 전에 우리가 체감했던 것과 지금 느끼는 것 사이에 가장 큰 차이점이 있다면 어떤 것일까요?

다리오 아모데이 Dario Amodei : 네, 사실 기반 기술, 즉 기술의 기하급수적인 발전은 거시적으로 볼 때 대체로 제가 예상했던 대로 진행되었다고 할 수 있습니다. 물론 분야에 따라 1, 2년 정도 앞서거나 뒤처지는 오차는 있었습니다. 코딩 분야가 구체적으로 어떤 방향으로 발전할지까지 정확히 예측했다고 할 수는 없습니다.

하지만 전반적인 기하급수적 성장세를 보면, 모델의 능력이 똑똑한 고등학생 수준에서 대학생 수준으로 그리고 이제는 박사나 전문가 수준의 작업을 수행하기 시작하고, 특히 코딩에서는 그 수준을 뛰어넘는 발전 양상은 대략적으로 제 예상과 일치합니다. 발전의 최전선은 분야별로 다소 불균형하긴 하지만, 전반적으로는 예상했던 대로 흘러가고 있습니다.

하지만 이 과정에서 제가 가장 놀라웠던 점이 무엇인지 말씀드리겠습니다. 가장 놀라운 것은 우리가 이 기하급수적 성장의 끝자락에 얼마나 가까워졌는지에 대해 대중적인 인식이 턱없이 부족하다는 사실입니다. 업계 내부든 외부든 간에 사람들이 여전히 진부하고 뻔한 정치적 이슈들에 대해서만 떠들고 있다는 것이 저에게는 정말 믿기 힘들 정도로 경악스러운 일입니다. 우리를 둘러싼 상황을 직시해 보면, 우리는 지금 그 기하급수적 발전의 끝에 다다르고 있기 때문입니다.

드와르케시 파텔 : 지금 스케일링 가설은 대체 어느 지점에 와 있습니까?

다리오 아모데이 Dario Amodei : 사실 저는 2017년부터 지금까지 똑같은 가설을 유지하고 있습니다. 지난번에도 말씀드렸는데, 2017년에 저는 <거대한 컴퓨팅 덩어리 가설(the big blob of compute hypothesis)>이라는 문서를 작성했습니다.

원문 흐름 5

그 문서는 언어 모델의 스케일링에만 국한된 것은 아니었습니다. 제가 그 글을 썼을 때는 GPT-1이 갓 나왔을 때였으니까요. 당시 언어 모델은 여러 분야 중 하나에 불과했습니다. 그 시절에는 로보틱스도 있었고, 사람들은 언어 모델과는 별개로 추론(Reasoning)을 연구하려고 했습니다. 또한 알파고나 오픈AI의 DOTA 프로젝트, 그리고 딥마인드의 스타크래프트 AI인 AlphaStar에서 볼 수 있었던 강화학습의 스케일링도 진행되고 있었습니다.

그래서 그 문서는 훨씬 더 포괄적인 내용을 담고 있었고, 제가 구체적으로 주장했던 바는 다음과 같습니다. 몇 년 뒤 리치 서튼(Rich Sutton)이 발표한 <The Bitter Lesson>과도 매우 유사한 내용인데, 기본적으로 가설의 핵심은 동일합니다.

요약하자면, 기발한 아이디어나 특별한 기법들, 혹은 무언가를 하기 위해 새로운 방법론이 필요하다는 식의 접근은 그다지 중요하지 않다는 것입니다. 중요한 것은 단 몇 가지뿐이며, 저는 그것을 일곱 가지로 정리했습니다.

첫째는 순수한 컴퓨팅 파워(raw compute)를 얼마나 보유하고 있는지입니다.

둘째는 데이터의 양입니다.

셋째는 데이터의 품질과 분포입니다. 데이터가 매우 폭넓게 분포되어 있어야 합니다.

넷째는 훈련 기간입니다.

다섯째는 끝없이 확장할 수 있는 목적 함수(objective function)입니다. 사전훈련(pre-training)의 목적 함수가 바로 그런 예시 중 하나입니다. 또 다른 예로는 목표를 설정하고 그것을 달성하도록 하는 강화학습의 목적 함수를 들 수 있습니다. 물론 그 안에는 수학이나 코딩에서 볼 수 있는 객관적인 보상도 있고, 인간 피드백 기반 강화학습(RLHF)이나 그보다 더 고차원적인 형태에서 나타나는 주관적인 보상도 존재합니다.

원문 흐름 6

여섯 번째와 일곱 번째는 정규화(normalization)나 조건화(conditioning)입니다. 즉, 거대한 컴퓨팅 자원이 문제없이 층류처럼 안정적으로 흘러갈 수 있도록 수치적 안정성을 확보하는 것입니다.

이것이 저의 가설이었고, 지금도 여전히 유효하다고 믿고 있습니다. 지금까지 이 가설에 어긋나는 사례를 거의 보지 못했기 때문입니다. 사전훈련 스케일링 법칙은 우리가 목격한 이러한 현상의 한 가지 예시일 뿐입니다. 실제로 이 법칙은 계속해서 작동해 왔습니다. 널리 보도된 바와 같이, 우리는 사전훈련 단계에 대해 확신을 가지고 있으며, 이 과정은 계속해서 성능 향상을 가져다주고 있습니다.

지금 달라진 점은, 이러한 스케일링 현상이 강화학습에서도 똑같이 나타나고 있다는 것입니다. 즉, 사전훈련 단계를 거친 후 그 위에 강화학습 단계가 더해지는 구조를 보고 있는 셈입니다. 강화학습에서도 원리는 완벽히 동일합니다. 최근 다른 기업들이 발표한 자료를 보면, AIME 같은 수학 경시대회 문제나 다른 과제들로 모델을 훈련시켰을 때, 모델의 성능 향상이 훈련 시간에 비례하여 로그 선형(log-linear) 그래프를 그린다는 것을 알 수 있습니다. 우리 역시 같은 현상을 관찰하고 있습니다. 이는 단순한 수학 경시대회뿐만 아니라 매우 광범위한 강화학습 작업 전반에 적용됩니다. 결론적으로 우리는 과거 사전훈련에서 보았던 것과 완전히 동일한 스케일링 법칙을 현재 강화학습 단계에서도 목격하고 있는 것입니다.

드와르케시 파텔 : 리처드 서튼과 <the bitter lesson>을 언급하셨는데요. 네, 저도 작년에 그와 인터뷰를 한 적이 있습니다만, 사실 그는 LLM에 대해 상당히 회의적인 입장이었습니다. 이것이 정확히 그의 시각인지는 모르겠지만, 그의 반론을 조금 의역해 보자면 이런 식입니다.

원문 흐름 7

'인간 학습의 진정한 핵심을 갖춘 무언가라면 엑셀이나 파워포인트 사용법, 혹은 웹 브라우저 탐색 방법을 배우기 위해 수십억 달러에 달하는 엄청난 데이터와 컴퓨팅 자원, 그리고 맞춤형 학습 환경을 필요로 하지는 않을 것'이라는 겁니다. 우리가 이러한 강화학습 환경을 이용해 특정 기술들을 억지로 만들어 넣어야만 한다는 사실 자체가, 역설적으로 현재 우리에게 인간 학습의 핵심 알고리즘이 결여되어 있다는 것을 암시한다는 주장이죠. 결국 우리가 엉뚱한 방향으로 규모만 키우고 있다는 것입니다.

다리오 아모데이 Dario Amodei : 제 생각에 이 질문은 여러 가지 측면을 동시에 짚어주고 있는 것 같습니다. 네, 확실히 여기에는 진정한 난제가 존재합니다. 하지만 그것이 당장 크게 중요하지 않을 수도 있습니다. 사실, 아마 별로 중요하지 않을 것이라고 추측합니다. 일단 강화학습은 잠시 논외로 해봅시다. 왜냐하면 이 문제에서 강화학습이 사전훈련과 본질적으로 다르다고 말하는 것은 쟁점을 흐리는 일(red-herring)이라고 생각하기 때문입니다.

사전훈련의 스케일링 역사를 되짚어보면, 알렉 래드포드(Alec Radford)가 GPT-1을 개발하던 2017년 당시 매우 흥미로운 점이 있었습니다. GPT-1 이전의 모델들을 보면, 텍스트의 광범위한 분포를 대변하지 못하는 데이터셋으로 학습되었습니다. 당시에는 매우 표준적인 언어 모델링 벤치마크들만 있었고, 제 기억으로 GPT-1 자체는 팬픽션이나 문학적인 텍스트 같은 데이터로 학습되었습니다. 이는 우리가 현실에서 접할 수 있는 전체 텍스트 중 아주 작은 일부분에 불과합니다. 그 당시에는 데이터 크기가 10억 단어 정도에 불과했습니다. 아주 작은 데이터셋이었고 세상에서 볼 수 있는 텍스트의 극히 좁은 분포만을 나타냈죠.

당연히 일반화(generalization)가 잘되지 않았습니다.

원문 흐름 8

특정 팬픽션 말뭉치에서 성능이 좋게 나왔다고 해도, 그것이 다른 분야로 범용성 있게 적용되지 않았습니다. 모델이 다른 종류의 텍스트를 얼마나 잘 예측하는지 측정하는 여러 지표가 있었지만, 일반화 능력을 제대로 확인하기 어려웠습니다. CommonCrawl이나 레딧의 링크를 긁어모으는 식의 대대적인 인터넷 스크래핑을 통해 인터넷상의 광범위한 데이터에 대해 학습시켰을 때 비로소 일반화가 시작되었습니다. 우리가 GPT-2에서 했던 방식이죠. 그렇게 스케일을 키우고 나서야 비로소 진정한 일반화 능력을 얻기 시작한 것입니다.

그리고 저는 지금 강화학습에서도 완전히 똑같은 현상을 보고 있습니다. 우리는 처음에는 수학 경시대회 학습 같은 아주 단순한 강화학습 과제로 시작했습니다. 그다음에는 코딩을 포함하는 더 광범위한 훈련으로 이동했고, 이제는 아주 다양한 다른 수많은 과제들을 수행하는 방향으로 나아가고 있습니다. 이렇게 스케일이 커지면 우리는 점차 강화학습에서도 일반화 능력을 얻게 될 것입니다. 여기까지가 강화학습과 사전훈련이 본질적으로 다르지 않다는 제 설명입니다.

하지만 어느 쪽이든 분명한 난제가 하나 남아 있습니다. 사전훈련 단계에서 우리는 수조 개의 토큰을 사용하여 모델을 학습시킵니다. 인간은 평생 수조 개의 단어를 읽지 않죠. 따라서 인간과 AI 사이에는 명백한 데이터 샘플 효율성(sample efficiency)의 차이가 존재합니다. 인간의 학습과는 확연히 다른 무언가가 일어나고 있는 것이죠. 인공지능 모델들은 완전한 백지상태에서 시작하기 때문에 훨씬 더 방대한 학습을 거쳐야만 합니다.

그러나 동시에, 일단 학습이 완료된 후 모델에게 100만 토큰에 달하는 거대한 컨텍스트(context length)를 주면, 모델들은 그 컨텍스트 안에서 매우 뛰어나게 새로운 것을 학습하고 적응합니다.

원문 흐름 9

현재 거대한 컨텍스트를 가로막는 유일한 장벽은 추론 비용 정도뿐입니다.

이 문제에 대한 완벽한 해답은 모르겠지만, AI의 학습 과정은 인간의 학습 과정과는 근본적으로 다르게 작동하고 있다고 생각합니다. AI의 학습은 인간의 단기적인 학습 과정과 인간 종의 진화 과정 그 어딘가에 위치해 있습니다. 인간은 진화를 통해 이미 뇌 구조에 수많은 사전 지식(priors)을 각인한 채로 태어납니다. 우리의 뇌는 단순한 백지상태(blank slate)가 아닙니다.

반면 언어 모델은 훨씬 더 극단적인 백지상태입니다. 인간의 뇌가 여러 입력과 출력에 연결된 영역들이 이미 구조화된 상태로 시작하는 반면, 언어 모델은 말 그대로 아무것도 없는 무작위 가중치(random weights)에서 시작합니다. 따라서 우리는 사전훈련과 강화학습을 인간의 진화와 인간의 즉각적인 현장 학습 사이의 중간 영역에 존재하는 무언가로 이해해야 할지도 모릅니다. 그리고 모델이 프롬프트 창 안에서 문맥을 파악하는 인컨텍스트 학습(in-context learning)은 인간의 장기 학습과 단기 학습 사이의 어딘가에 있는 것으로 봐야 할 것입니다.

요약하자면, 진화, 장기 학습, 단기 학습, 그리고 즉각적인 반응이라는 생물학적 계층 구조가 있다고 할 때, LLM의 단계들은 이 스펙트럼 위 어딘가에 존재합니다. 하지만 그것이 인간의 학습 방식과 정확히 일대일로 대응되는 것은 아닙니다. LLM은 인간의 학습 모드들 사이사이의 빈 지점들을 채우며 완전히 새로운 방식으로 발전하고 있는 셈입니다.

드와르케시 파텔 : 하지만 여전히 조금 혼란스러운 부분들이 있습니다. 예를 들어, AI의 학습 과정이 진화와 같다는 비유를 적용해서 데이터 샘플 효율성이 떨어지는 현상이 당연하다고 가정해 보겠습니다. 그렇다면, 인컨텍스트 학습(in-context learning)을 통해 압도적으로 샘플 효율성이 높은, 즉 조금만 가르쳐도 금방 배우는 에이전트를 곧 얻게 될 텐데, 왜 굳이 지금 특정 기술들을 억지로 주입하려고 애쓰는 걸까요?

원문 흐름 10

실시간으로 스스로 학습할 수 있는 범용적인 에이전트가 이미 등장했거나 곧 등장할 것이라면서, 왜 굳이 그런 개별적인 툴 사용법을 가르치는 데 그렇게 많은 공을 들이는지 저로서는 이해하기 어렵습니다.

다리오 아모데이 Dario Amodei : 다른 사람들이 어떤 부분에 방점을 두고 있는지 제가 대신 말할 수는 없습니다. 저는 오직 앤스로픽이 이 문제를 어떻게 바라보고 있는지에 대해서만 말씀드릴 수 있습니다.

우리가 생각하는 방식은 이렇습니다. 우리의 목표는 사전훈련 때와 마찬가지로 강화학습을 통해 모델에게 세상의 모든 가능한 기술을 하나하나 다 가르치는 것이 아닙니다. 사전훈련 단계를 생각해 보십시오. 우리는 단어들이 조합될 수 있는 모든 경우의 수를 모델에게 노출시키려고 하지 않았습니다. 그보다는 모델이 방대한 양의 데이터를 학습하게 한 뒤, 그 과정 전반에 걸쳐 스스로 일반화에 도달하도록 만든 것입니다. 그것이 바로 제가 가까이서 지켜보았던 GPT-1에서 GPT-2로 넘어갈 때의 핵심적인 변화였습니다.

당시 모델이 특정 지점에 도달했을 때, 저는 경이로운 순간들을 경험했습니다. 모델에게 그냥 숫자 목록을 던져줍니다. 이건 집값이고, 이건 집의 평수야라는 식으로요. 그러면 모델이 알아서 패턴을 파악하고 선형 회귀(linear regression) 분석을 해냅니다. 완벽하지는 않아도 어떻게든 해내는 것이죠. 모델은 이전에 그와 정확히 똑같은 데이터를 본 적이 없는데도 말입니다.

따라서 우리가 지금 다양한 강화학습 환경을 구축하고 있는 이유와 목표 역시, 5년이나 10년 전 사전훈련 단계에서 했던 것과 매우 유사합니다. 우리가 지금 방대한 데이터를 모으고 RL 환경을 구축하려는 것은, 모델이 특정 문서의 내용을 외우게 하거나 슬랙, API 같은 특정 기술 하나를 달달 익히게 만들려는 것이 아닙니다.

원문 흐름 11

궁극적으로 모델의 능력을 일반화시키기 위해서입니다.

데이터센터 안의 천재들의 국가

1~3년 내 50%, 10년 내 90%

드와르케시 파텔 : 제시해주신 프레임워크는 분명 일리가 있다고 생각합니다. 우리가 AGI를 향해 나아가고 있다는 점 말이죠. 여기서 논의의 핵심은, 현시점에서 이번 세기 안에 우리가 AGI를 달성할 것이라는 사실 자체에 이의를 제기하는 사람은 아무도 없다는 것입니다. 진짜 중요한 차이는 이것입니다. 당신은 우리가 기하급수적 성장의 끝자락에 도달하고 있다고 말하지만, 다른 누군가는 이 상황을 보면서 우리는 2012년부터 꾸준히 발전해 왔고, 2035년쯤 되면 인간과 같은 에이전트를 갖게 되겠지라고 느긋하게 생각한다는 점입니다.

그래서 저는 당신이 도대체 무엇을 보았기에, 진화가 해낸 일이나 인간이 평생에 걸쳐 학습하는 과정과 유사한 현상들이 현재의 AI 모델들에서 분명하게 나타나고 있다고 확신하는지 이해하고 싶습니다. 그리고 왜 그 거대한 변화의 시기가 10년 뒤가 아니라 당장 1~2년 앞으로 다가왔다고 생각하시는지도 정말 궁금합니다.

다리오 아모데이 Dario Amodei : 사실 저는 여기서 두 가지 경우, 혹은 두 가지 주장을 할 수 있다고 봅니다. 하나는 더 강한 주장이고 다른 하나는 좀 더 약한 주장입니다. 먼저 약한 주장부터 시작해 보죠. 제가 2019년쯤 처음 스케일링의 위력을 목격했을 때만 해도 저는 확신하지 못했습니다. 그때는 50대 50의 확률이었죠. 무언가 엄청난 것을 보았고, 제 생각은 '이건 사람들이 생각하는 것보다 훨씬 실현 가능성이 높다, 이건 정말 미친 일이고 다른 누구도 고려조차 하지 않겠지만 아마 50%의 확률로 이 방향으로 갈 것이다'라는 것이었습니다.

하지만 당신이 방금 말한 그 기본적인 가설, 즉 10년 안에 제가 이른바 '데이터센터 안의 천재 국가(country of geniuses in a data center)'라고 부르는 수준에 도달할 것이라는 점에 대해서, 지금 저는 90% 확신합니다.

원문 흐름 12

세상이 워낙 예측 불가능하기 때문에 90% 이상으로 확신하기는 어렵습니다. 어쩌면 피할 수 없는 근본적인 불확실성(irreducible uncertainty)이 5% 정도 존재할 겁니다.

예를 들어, 여러 기업 내부에서 큰 혼란이 발생해 개발이 멈추거나 대만이 침공을 받아 미사일에 모든 반도체 공장이 날아가는 상황 같은 것을 상상해 볼 수 있겠죠. 이런 일들로 인해 기술 발전이 10년 정도 지연되는 시나리오가 현실화될 확률이 아마 5% 정도입니다. 나머지 5% 불확실성은 '검증 가능한(verifiable) 작업'에 대해서는 매우 확신하지만, 그렇지 않은 작업에 대해서는 약간의 의문이 있다는 점에서 나옵니다.

코딩 같은 경우, 앞서 말한 피할 수 없는 외부적 불확실성만 제외한다면, 저는 우리가 1~2년 안에 그 수준에 도달할 것이라 생각합니다. 사람의 개입 없이 완벽하게 코딩을 해내는 end-to-end 코딩 능력을 10년 안에 확보하지 못할 리가 없습니다.

아주 장기적인 관점에서도 남아있는 유일한 작은 불확실성은 바로 화성 탐사 임무를 계획하거나, CRISPR 같은 근본적인 과학적 발견을 해내거나, 소설을 쓰는 것과 같이 검증하기 어려운 작업들에 관한 것입니다. 저는 우리가 그 수준에 도달할 수 있는 확실한 경로를 확보했다고 거의 확신합니다. 하지만 만약 기술적 불확실성이 조금이라도 남아있다면 바로 그 지점일 것입니다.

결론적으로 10년이라는 타임라인에 대해 저는 인간이 가질 수 있는 최대치의 확신인 90%를 봅니다. 2035년까지 이런 일이 일어나지 않을 것이라고 말하는 것은 미친 소리라고 생각합니다. 정상적인 세상이라면, 2035년까지 AGI가 오지 않을 것이라는 회의론은 주류에서 벗어난 의견일 수밖에 없습니다.

드와르케시 파텔 : 설령 일반화 능력이 다소 떨어지는 상황을 빼고서라도 단순히 검증 가능한 영역에만 국한해서 생각한다고 해도 그런 조건에서 소프트웨어 엔지니어링을 완전히 자동화할 수 있을지 의문입니다.

원문 흐름 13

왜냐하면 소프트웨어라는 것이 어떤 의미에서는 당신 스스로도 소위 말하는 '소프트웨어 엔지니어'지만, 소프트웨어 엔지니어로 일한다는 것의 일부는 다양한 주제에 대한 거대한 비전을 담은 장문의 문서를 작성하는 것과 같은 고차원적인 일들을 포함하고 있기 때문입니다.

다리오 아모데이 Dario Amodei : 그래서 저는 거대한 비전을 담은 문서를 쓰는 것이 소프트웨어 엔지니어 본연의 업무라고는 생각하지 않습니다. 그건 경영진이나 회사가 해야 할 역할 중 일부죠. 하지만 소프트웨어 엔지니어링 업무에 설계 문서나 그와 비슷한 것들을 작성하는 일이 포함된다는 점에는 동의합니다.

그런데 덧붙이자면, 현재 모델들은 그런 작업도 꽤 잘해내고 있습니다. 모델들은 이미 코드에 주석을 달거나 초기 기획안을 작성하는 데 상당히 능숙합니다. 그래서 다시 한번 말씀드리지만, 저는 여기서 두 가지를 명확히 구분하기 위해 제가 실제로 굳게 믿고 있는 것보다 훨씬 보수적이고 약한 주장을 하고 있는 셈입니다. 소프트웨어 엔지니어링의 자동화에 있어서 우리는 이미 거의 다다랐다는 사실 말입니다. 우리는 정말로 이미 거의 다 왔습니다.

드와르케시 파텔 : 지표 중 하나로 AI가 작성한 코드 라인 수가 얼마나 되는가를 들 수 있습니다. 소프트웨어 엔지니어링 역사에서 있었던 다른 생산성 향상 사례들을 생각해보면 이해하기 쉽습니다. 엄밀히 말해 컴파일러가 소프트웨어의 모든 코드를 기계어로 작성하잖아요. 하지만 코드를 얼마나 많이 작성했느냐와 실제 생산성이 얼마나 크게 향상되었느냐 사이에는 분명한 차이가 있습니다.

다리오 아모데이 Dario Amodei : 음, 그 점에 대해서는 저도 전적으로 동의합니다. 제가 코드와 소프트웨어 엔지니어링에 대해 일련의 예측들을 내놓았는데, 사람들이 이를 반복해서 오해하는 경향이 있는 것 같습니다.

원문 흐름 14

그러니 제가 생각하는 발전의 스펙트럼을 한번 쭉 펼쳐서 설명해 보겠습니다.

한 8~9개월 전쯤이었나요, 제가 3~6개월 안에 AI 모델이 전체 코드 라인의 90%를 작성하게 될 것이라고 말한 적이 있습니다. 그리고 이 예측은 적어도 일부 영역에서는 실제로 일어났죠. 앤스로픽 내부에서도 일어났고, 우리 모델을 사용하는 수많은 다운스트림 고객들에게서도 일어났습니다. 하지만 이것은 사실 매우 약한 기준입니다. 사람들은 제가 이 말을 했을 때 마치 소프트웨어 엔지니어의 90%가 필요 없어질 것이라고 말한 것처럼 받아들였거든요. 코드 라인의 90%를 짜는 것과 엔지니어의 90%가 대체되는 것은 완전히 차원이 다른 이야기입니다.

저는 이 자동화의 스펙트럼을 다음과 같이 구분합니다. 먼저 모델이 전체 코드의 90%를 작성하는 단계가 있고, 100%를 작성하는 단계가 있습니다. 이 두 단계 사이에도 생산성에는 엄청난 차이가 존재합니다. 그다음은 컴파일링, 클러스터 및 환경 설정, 기능 테스트, 기획서 작성 등을 모두 포함하는 end-to-end 소프트웨어 엔지니어링 작업의 90%를 모델이 수행하는 단계입니다. 그리고 마침내 오늘날 엔지니어들이 하는 모든 작업의 100%를 모델이 수행하는 단계가 오겠죠.

그런데 심지어 작업의 100%를 AI가 해내는 단계가 온다고 해서, 그것이 곧바로 소프트웨어 엔지니어들이 일자리를 잃는다는 뜻은 아닙니다. 엔지니어들이 AI를 관리하고 감독하며 수행할 수 있는 새롭고 더 높은 차원의 업무들이 생겨날 테니까요. 물론 이 스펙트럼의 훨씬 더 끝자락으로 가면, 궁극적으로 소프트웨어 엔지니어에 대한 수요 자체가 90% 감소하는 상황도 올 것이고 저는 실제로 그렇게 될 것이라 생각합니다.

하지만 이것은 어디까지나 점진적으로 이어지는 하나의 스펙트럼입니다.

원문 흐름 15

제가 예전에 쓴 <The Adolescence of Technology>라는 글에서도 농업의 역사에 빗대어 이 스펙트럼의 단계를 설명한 적이 있죠. 그래서 저는 방금 당신이 하신 말씀에 전적으로 동의합니다. 이 단계들은 서로 완전히 다른 벤치마크들을 가지고 있지만, 중요한 것은 우리가 지금 그 벤치마크들을 엄청나게 빠른 속도로 돌파해 나가고 있다는 사실입니다.

드와르케시 파텔 : 설령 제가 클로드 코드가 짜는 코드에 단 한 번도 개입할 필요가 없는 완벽한 수준이 된다 하더라도 말입니다. 세상은 복잡하고, 직업도 복잡합니다. 단순히 소프트웨어 코드를 작성하는 것과 같이 자체적으로 완결되는 시스템(Self-contained systems)의 닫힌 루프를 완성한다고 해서, 과연 그것만으로 현실 세계에서 얼마나 더 광범위하고 거대한 이득을 얻을 수 있을까요? 그렇기 때문에 어쩌면 우리는 당신이 말한 그 '데이터 센터 안의 천재 국가'가 가져올 파급력에 대한 우리의 기대치를 조금 낮춰야 하는 것은 아닐까 싶습니다.

다리오 아모데이 Dario Amodei : 저는 당신의 의견에 전적으로 동의합니다. 현실적인 문제들 때문에 이런 변화가 즉각적으로 일어나지는 않을 것이라는 데 동의합니다. 하지만 동시에, 그 파급 효과는 매우 빠르게 나타날 것이라고 생각합니다.

우리가 두 가지 극단적인 시각을 상정해 볼 수 있을 것 같습니다. 한쪽은 AI의 발전이 느릴 것이고, 경제 전반에 확산되는 데 영원한 시간이 걸릴 것이라는 시각입니다. 요즘 경제적 확산(Economic diffusion)이라는 말이 유행어처럼 쓰이고 있죠. 이것이 AI 발전이 정체되거나, AI의 발전이 실제로는 큰 의미가 없다고 주장하는 사람들의 논리입니다.

반대쪽 극단에는 AI가 재귀적 자기개선(스스로 코드를 고치며 진화하는 것)을 이룰 것이라는 시각이 있습니다.

원문 흐름 16

발전 곡선에 기하급수적인 선을 그어버리고, AI가 스스로 발전하기 시작하면 단 몇 나노초 만에 태양 주위에 다이슨 구(Dyson spheres, 항성의 에너지를 100% 활용하는 가상의 거대 구조물)를 건설하게 될 것이라는 공상과학적인 주장입니다. 제가 이 시각을 다소 과장해서 표현하긴 했지만, 어쨌든 이런 두 가지 극단이 존재합니다.

하지만 적어도 앤스로픽 내부에서 우리가 처음부터 목격해 온 것은 매년 수익이 10배씩 껑충 뛰는 기이한 성장세였습니다. 2023년에는 $0 → $100M로, 2024년에는 $100M → $1B로 뛰었습니다. 2025년에는 $1B → $10B로 성장했죠. 그리고 올해 첫 달을 보십시오. 이 기하급수적인 성장이 둔화될 것이라 생각하시겠지만, 우리는 지난 1월 한 달 동안에만 $2~3B의 매출을 추가했습니다.

물론 이 곡선이 영원히 지속될 수는 없습니다. 전 세계 GDP에 한계가 있으니까요. 저조차도 올해 어느 시점에는 이 곡선이 다소 꺾일 것이라고 예상합니다. 하지만 이건 정말이지 엄청나게 빠른 성장 곡선입니다.

저는 이 규모가 경제 전반으로 확대되더라도 여전히 상당히 빠른 속도를 유지할 것이라 확신합니다. 그래서 우리는 이 중간 세계(middle world)에 대해 생각해야 합니다. 변화가 극도로 빠르긴 하지만 마법처럼 즉각적이지는 않은 세상 말입니다.

앞서 말씀하신 경제적 확산의 속도, 시스템의 자체 루프 완성, 그리고 기업 내부의 까다로운 변화 관리 같은 현실적인 문제들 때문에 필연적으로 시간이 걸리는 세계죠. 예를 들어 "아, 시스템 설정은 다 했는데 실제로 작동하게 하려면 사내 보안 권한을 전부 바꿔야 하네"라거나 "모델을 배포하기 전에 검수하는 오래된 레거시 소프트웨어가 있는데 이걸 다시 짜야 하네" 같은 문제들 말입니다.

원문 흐름 17

물론 AI 모델이 그런 코딩도 다 해줄 수 있지만, 어쨌든 인간이 모델에게 그 일을 하라고 지시해야 하고 그 과정에는 톱니바퀴가 맞물려 돌아가는 물리적인 시간이 소요됩니다.

결론적으로 지금까지 우리가 목격한 모든 현상들은 두 개의 빠른 기하급수적 곡선이 존재한다는 사실과 일치합니다. 하나는 모델 자체 능력의 기하급수적 발전이고, 그 아래에 존재하는 또 다른 하나는 모델이 실제 경제 산업 전반으로 확산되는 기하급수적 속도입니다. 즉각적이지도 않고 느리지도 않지만, 과거 인류가 겪은 그 어떤 기술보다 훨씬 빠르며 동시에 나름의 물리적 한계도 가지고 있죠. 이것이 바로 제가 앤스로픽 내부의 실적과 우리 B2B 고객들을 보며 내린 결론입니다. 기업들의 채택은 엄청나게 빠르지만, 무한하게 빠른 것은 아닙니다.

저는 확산(diffusion)이 매우 현실적인 문제라고 생각하며, 이것이 전적으로 AI 모델의 기술적 한계와만 관련된 것은 아니라고 봅니다. 거듭 말씀드리지만, 확산이라는 단어를 유행어처럼 쓰면서 AI 혁신이 별거 아니라고 깎아내리는 사람들이 있는데, 제 말은 그런 뜻이 아닙니다. 저는 AI가 과거의 어떤 기술보다 훨씬 빠르게 확산될 것이라 생각하지만, 그 속도가 마법처럼 무한하게 빠르지는 않을 것이라는 점을 말씀드리는 겁니다.

Claude Code를 예로 들어보죠. Claude Code는 설정하기가 엄청나게 쉽습니다. 개발자라면 그냥 바로 쓰기 시작할 수 있죠. 대기업 개발자라고 해서 스타트업 개발자나 개인 개발자보다 Claude Code 도입을 늦춰야 할 하등의 이유가 없습니다. 그리고 우리는 도입을 촉진하기 위해 할 수 있는 모든 것을 합니다. 우리는 Claude Code를 기업에 판매합니다. 대형 금융사나 대형 제약사 같은 거대 기업들 모두, 일반적인 신기술을 도입할 때보다 훨씬 빠른 속도로 Claude Code를 도입하고 있습니다.

원문 흐름 18

하지만 어쨌든 물리적인 시간이 걸립니다. Claude Code나 cowork 같은 특정 기능이나 제품은 트위터에 상주하는 얼리어답터 개인 개발자들이나 시리즈 A 단계의 스타트업들에게 가장 먼저 채택될 것입니다. 반면 식품 판매를 주업으로 하는 거대한 전통 대기업에 전사적으로 도입되기까지는 그보다 수개월이 더 걸리겠죠.

여기에는 여러 가지 요인이 있습니다. 법무 팀의 검토를 거쳐야 하고, 모든 직원이 쓸 수 있도록 사전 세팅(프로비저닝)을 해야 합니다. 보안 및 규제 준수 테스트도 통과해야 하죠. AI 혁신의 최전선에서 한발 떨어져 있는 대기업의 리더들은 물론 미래 지향적이긴 하지만, 스스로 납득하는 과정이 필요합니다. "아, 우리가 여기에 5천만 달러를 쓰는 게 타당하겠군. Claude Code라는 게 이런 거구나. 이게 우리 회사에 이런 도움이 되고 생산성을 이렇게 높여주는구나"라고 말이죠. 그러고 나면 그들은 두 직급 아래의 실무 관리자들에게 이를 설명해야 합니다. "자, 우리 회사에 3,000명의 개발자가 있는데, 이들에게 어떻게 배포할지 롤아웃 계획을 세워봅시다"라고 지시해야 합니다. 우리는 앤스로픽 내부에서 매일같이 고객들과 이런 대화를 나눕니다.

우리는 앤스로픽의 매출이 매년 10배가 아니라 20배, 30배씩 성장하도록 만들기 위해 영업 최전선에서 최선을 다하고 있습니다. 그리고 실제로 많은 기업 고객들이 "이건 정말 생산성이 뛰어나서 우리 회사의 평소 조달 프로세스를 단축해서라도 빨리 도입하겠다"고 말합니다. 많은 기업이 이미 사용하던 일반적인 API를 판매하려고 했을 때보다, 기업들은 지금 훨씬 더 빠르게 움직이고 있습니다. Claude Code가 훨씬 더 압도적이고 매력적인 제품이기 때문입니다.

하지만 이것이 세상의 모든 마찰을 없앨 만큼 무한하게 매력적인 제품인 것은 아닙니다.

원문 흐름 19

저는 심지어 AGI나 강력한 AI, 혹은 데이터센터 안의 천재 국가조차도 무한하게 빠른 도입을 이끌어내지는 못할 것이라 생각합니다. 물론 매출 규모가 수천억 달러 단위에 달할 때조차 매년 3배, 5배, 10배의 초고속 성장을 이끌어낼 만큼 엄청난 제품이긴 하겠죠. 이 정도 규모의 성장은 비즈니스 역사상 그 어떤 기업도 해내지 못한 극도로 어려운 일입니다. 하지만, 그럼에도 불구하고 현실 세계의 도입 속도가 '무한하게' 빠를 수는 없다는 뜻입니다.

AGI는 세상을 어떻게 배울까

연속 학습, Computer Use, 컨텍스트 윈도우 내의 학습

드와르케시 파텔 : 그렇다면 유튜브 영상 편집자처럼, 사람들과 개인들의 선호도를 이해하는 수준의 지능을 AI가 가지려면 어느 정도나 시간이 걸릴까요?

다리오 아모데이 Dario Amodei : 저는 '데이터센터 안의 천재 국가'가 그 일을 해낼 수 있을 것이라 생각합니다. 그들이 그 일을 해내는 방식은 이렇습니다. AI가 컴퓨터 화면에 대한 전반적인 제어권을 갖게 되는 것이죠. 당신이 어떤 지시를 내리면, AI는 컴퓨터 화면을 직접 조작해 웹에 접속하고, 당신의 과거 인터뷰들을 전부 찾아보고, 그 인터뷰에 대해 트위터에서 사람들이 어떤 반응을 보였는지 확인합니다. 그리고 당신과 대화하며 질문을 던지고, 당신의 스태프들과도 소통하며, 당신이 과거에 편집했던 작업 기록들을 훑어본 다음, 그 모든 정보를 바탕으로 실제 업무를 완벽하게 수행해 낼 것입니다.

하지만 이것이 실현되려면 몇 가지 조건이 필요합니다. 그리고 저는 이것이 현재 AI의 실제 배포를 가로막고 있는 장애물 중 하나라고 생각하는데요. 모델이 컴퓨터를 정말 능숙하게 다루는, Computer Use 마스터 수준에 도달해야 한다는 점입니다. 우리는 벤치마크 지표를 통해 이러한 능력이 빠르게 상승하는 것을 목격해 왔습니다.

원문 흐름 20

물론 벤치마크가 언제나 완벽한 측정 기준은 아니지만, OS World(운영체제 제어 능력을 평가하는 벤치마크)를 예로 들 수 있습니다. 제 기억이 정확하진 않지만, 약 1년 3개월 전쯤 우리가 처음 Computer Use 기능을 출시했을 때만 해도 모델의 달성률은 15% 정도에 불과했습니다. 하지만 지금은 그 수치가 65%에서 70% 수준까지 치솟았습니다. 물론 앞으로 더 까다로운 측정 기준들이 등장하겠지만, 결론적으로 AI의 컴퓨터 사용 기능이 실무에 온전히 쓰일 수 있는 확실한 신뢰성의 임계점을 넘어서야만 한다고 봅니다.

드와르케시 파텔 : 방금 하신 말씀에 대해 후속 질문을 하나 드려도 될까요? 저는 수년 동안 제 업무를 위해 다양한 내부 LLM 도구들을 직접 만들어 보려고 시도해 왔습니다. 그리고 텍스트를 입력해서 텍스트 결과를 얻는(text-in, text-out) 작업들을 자주 하는데, 이런 작업이야말로 현재 AI 모델들이 가장 완벽하게 해내야 할 핵심 영역이어야 마땅합니다. 그런데도 저는 여전히 이 일들을 처리하기 위해 사람을 고용합니다.

예를 들어 팟캐스트 대본을 주고 여기서 가장 좋은 하이라이트 클립들을 뽑아내라는 식의 지시를 내리면, AI는 10점 만점에 7점 정도의 결과물은 만들어낼 것입니다. 하지만 인간 직원을 대할 때처럼, 제가 지속적으로 AI와 상호작용하면서 그들이 그 일을 점점 더 잘 해낼 수 있도록 가르치고 피드백을 주는 지속적인 방법이 존재하지 않습니다. 그래서 바로 그 연속적인 능력이 결여되어 있다는 사실 때문에, 설령 당신이 말한 그 완벽한 컴퓨터 사용 능력이 실현된다 하더라도, 제가 실제 업무를 완전히 AI에게 위임하는 것은 여전히 불가능할 것이라는 생각이 듭니다.

다리오 아모데이 Dario Amodei : 이것은 우리가 앞서 이야기했던 실무를 통한 현장 학습(learning on the job)이라는 주제로 다시 돌아가게 만드는데, 이 부분이 아주 흥미롭습니다.

원문 흐름 21

제 생각에 코딩 에이전트와 관련해서, 사람들이 "이 코딩 에이전트가 end-to-end로 모든 업무를 완벽히 수행하지 못하는 이유가 바로 인간 같은 '실무를 통한 학습' 능력이 부족하기 때문이다"라고 말하지는 않을 것 같습니다. 코딩 에이전트들은 끊임없이 더 나아지고 있으니까요.

앤스로픽 내부에는 코드를 단 한 줄도 직접 짜지 않는 엔지니어들도 있습니다. 아까 당신이 제기했던 이전 질문과 관련해 우리의 생산성을 살펴보면, "예전에는 이 GPU 커널, 이 칩 관련 코드를 내가 직접 다 짰지만, 이제는 그냥 Claude에게 시킨다"라고 말하는 직원들이 있습니다. 바로 여기서 엄청난 생산성 향상이 일어나는 것이죠. 그래서 제가 드리고 싶은 말씀의 요지는, AI는 인간의 학습과는 완전히 다른 경로를 밟아가고 있다는 것입니다.

드와르케시 파텔 : 코딩의 경우, 코드베이스라는 형태로 이미 구현되어 있는 외부적인 기억의 뼈대(external scaffold of memory)가 존재하기 때문이라고 생각하지 않으시나요? 다른 직업들 중에 이런 명확한 구조를 가진 일이 과연 얼마나 될지 모르겠습니다. 코딩 분야에서 AI가 유독 이렇게 빠른 발전을 이룰 수 있었던 이유는, 바로 다른 경제 활동이나 직무에는 없는 이 고유한 이점을 코딩만이 가지고 있기 때문 아닐까요?

다리오 아모데이 Dario Amodei : 하지만 당신이 그렇게 말할 때, 그 말의 진짜 의미는 코드베이스를 AI의 컨텍스트 윈도우에 통째로 밀어 넣기만 하면 인간이 현장 실무를 통해 몇 달에 걸쳐 배워야 했던 모든 지식을 AI가 한순간에 갖추게 된다는 뜻이 내포되어 있습니다.

즉, 그 지식이 문서로 명확히 쓰여 있든 아니든, 접근이 쉽든 아니든 간에, 특정 업무에 필요한 모든 핵심 지식을 컨텍스트 안에서 완벽하게 흡수할 수 있다는 사실을 보여주는 완벽한 사례인 셈이죠.

원문 흐름 22

그렇지 않습니까? 결국 우리가 흔히 '학습'이라고 생각하는 과정, 예를 들어 '아, 이 직장에 새로 들어왔으니 이 방대한 코드베이스를 파악하고 적응하려면 최소 6개월은 걸리겠구나'라고 인간이 체념하듯 받아들이던 그 기나긴 적응 기간을, AI 모델은 프롬프트의 컨텍스트 윈도우 안에서 단숨에 해결해 버린 것입니다.

드와르케시 파텔 : 이 문제를 어떻게 받아들이실지는 모르겠지만, 정성적으로 체감상 생각보다 생산성이 안 늘어나는 것 같다고 말하는 경우들이 있는데 그러면 실제로 생산성 혁신이 뭐에 있다고 딱 주장할 내용이 뭐가 있을까요?

다리오 아모데이 Dario Amodei : 앤스로픽 내부에서는 이 문제가 아주 명백합니다. 우리는 엄청난 상업적 압박을 받고 있고, 우리가 고수하는 그 수많은 안전 관련 조치들 때문에 스스로를 더 힘들게 만들고 있습니다. 제 생각에 우리는 다른 어떤 회사들보다도 AI 안전에 훨씬 더 많은 공을 들이고 있으니까요. 그래서 우리의 핵심 가치를 지키면서 동시에 경제적으로 살아남아야 한다는 압박감은 정말 상상을 초월합니다. 우리는 매년 10배씩 성장하는 이 수익 곡선을 계속 유지하려고 사활을 걸고 있습니다.

그렇기 때문에 우리에게는 허튼수작(Bullshit)을 부릴 시간이 전혀 없습니다. 실제로는 생산적이지도 않은데 그저 주관적인 느낌만으로 스스로 생산적이라고 착각하며 허송세월할 시간 따위는 1초도 없다는 뜻입니다. 이 도구들은 실제로 우리를 훨씬 더 생산적으로 만들어줍니다. 우리가 왜 경쟁사들이 이 코딩 도구들을 사용하는 것을 그토록 경계한다고 생각하십니까? 우리가 경쟁사들보다 앞서 있다고 확신하며, 그들이 이 도구를 써서 개발 속도를 가속하는 것을 원치 않기 때문입니다.

만약 이 도구들이 당신이 말한 연구 결과처럼 남몰래 우리의 실제 생산성을 깎아먹고 있는 것이라면, 우리가 왜 굳이 이런 수고를 감수하겠습니까?

원문 흐름 23

우리는 몇 달마다 완전히 새로운 AI 모델을 출시하는 형태로 그 최종적인 생산성의 결과를 직접 두 눈으로 확인하고 있습니다. 이 부분에 있어서는 스스로를 기만할 여지가 전혀 없습니다. AI 모델들은 확실하게 우리를, 그리고 당신을 더 생산적으로 만들어줍니다.

드와르케시 파텔 : 첫째, 개발자들이 스스로 생산성이 높아졌다고 느끼는 현상 자체는 제가 말씀드린 그런 연구들에서도 정성적으로 이미 예측하고 있는 바입니다. 둘째, 물론 최종 결과물을 보면 앤스로픽이 엄청나게 빠른 발전을 이룩하고 있는 것은 명백한 사실입니다. 하지만 핵심은 이렇습니다. '재귀적 자기 개선(recursive self-improvement)'이라는 개념의 본래 아이디어는, 우리가 더 똑똑한 AI를 만들면 그 AI가 다음 세대의 더 뛰어난 AI를 만드는 것을 돕고, 이 과정이 무한히 반복되어야 한다는 것 아니었습니까?

그런데 오픈AI나 딥마인드를 포함해 현재 업계에서 제가 목격하는 현실은 전혀 다릅니다. 그저 몇 달 주기로 엎치락뒤치락하며 1등 시상대(podium)의 주인공만 바뀌고 있을 뿐이죠.

어쩌면 당신은 앤스로픽이 승리했기 때문에 이런 엎치락뒤치락하는 판도가 곧 끝날 것이라고 생각할 수도 있겠습니다. 하지만 만약 이전 세대의 뛰어난 모델이 가져다준 생산성 향상이 당신의 말처럼 그토록 엄청난 것이었다면, 도대체 왜 현재 가장 뛰어난 코딩 모델을 보유한 기업이 경쟁자들을 아득히 따돌리고 지속적인 우위를 점하는 모습은 나타나지 않는 것입니까?

다리오 아모데이 Dario Amodei : 아니요, 전혀 그렇지 않습니다. 제 생각에, 그러니까 현재 상황에 대한 저의 분석 모델은 이렇습니다. 이점이 점진적으로 커지고 있다는 것이죠. 지금 당장은 코딩 모델들이 전체적인 요소에서 약 15~20% 정도의 속도 향상(total factor speed up)을 가져다준다고 봅니다.

원문 흐름 24

6개월 전만 해도 이 수치는 5% 정도에 불과했습니다. 그래서 그때는 이게 큰 의미가 없었죠. 5% 정도의 차이는 지표상으로 크게 눈에 띄지도 않으니까요. 하지만 이제는 그 수치가 판도에 영향을 미치는 여러 중요한 요인 중 하나로 자리 잡는 지점에 막 도달했고, 앞으로 이 속도는 계속해서 더 빨라질 것입니다.

당신 말대로 6개월 전만 해도 여러 기업이 거의 비슷한 출발선에 옹기종기 모여 있었던 것은 사실입니다. 당시만 해도 AI를 통한 생산성 향상이 순위를 가를 만한 결정적인 변수가 아니었기 때문이죠. 하지만 지금은 그 가속도가 점점 더 붙고 있습니다. 게다가 코딩용 모델을 개발하는 기업은 우리 말고도 여럿 있습니다. 그리고 솔직히 말씀드리면, 다른 경쟁사들이 우리 앤스로픽의 모델을 자기들 내부 개발에 은밀하게 사용하는 것을 우리가 완벽하게 막아낼 방법도 없습니다.

*Agentic AI의 발전과도 비슷합니다. 2025년 말부터 추세선이 지수함수의 형태로 급격히 상승합니다. Opus 4.5는 약 5시간의 작업이 가능해지고, GPT-5.2-xhigh도 6시간 동안의 작업이 가능해졌습니다. AI가 처리할 수 있는 작업의 복잡도가 크게 증가하기 시작하고 AI Labs 내에서는 이미 채택률 100% 수준에 이르렀습니다. 이때쯤부터 Claude Code 팀은 이제 제품을 개발하거나 업데이트할 때에도 Claude Code만 100% 써서 개발하기 시작하고, Codex 팀도 마찬가지였습니다. 이어서 2개월 사이 나온 모델이 가장 우측의 위에 있는 모델, 2026년 2월 5일에 출시된 Opus 4.6입니다. 인간 기준 12시간이 소요되는 복잡한 소프트웨어 작업까지도 50% 확률로 완수하는 수준에 도달했습니다.

따라서 지금 우리가 목격하고 있는 모든 현상은 일종의 스노우볼 모델과 완벽하게 일치합니다.

원문 흐름 25

제가 이 모든 논의에서 일관되게 주장하는 핵심 테마는, 이 모든 변화가 Soft take-off, 즉 기하급수적 곡선이 꽤 가파르긴 하지만 갑작스러운 단절이나 마법 같은 폭발 없이 부드럽고 매끄럽게 이어지는 형태라는 점입니다.

그래서 우리는 지금 이 눈덩이가 10%, 20%, 25%, 40%로 점차 모멘텀을 얻으며 굴러가는 것을 보고 있는 중입니다. 물론 그 과정에서 당신 말씀대로 암달의 법칙(Amdahl's law, 시스템의 일부만 개선할 경우 전체 성능 향상에는 한계가 있다는 법칙)이 작용하겠죠. 완벽한 자동화 루프를 완성하는 데 방해가 되는 병목 현상들을 하나씩 전부 치워버려야만 합니다. 그리고 바로 그 장애물들을 치우는 작업이 현재 앤스로픽 내부의 가장 거대한 최우선 과제 중 하나입니다.

드와르케시 파텔 : 코딩과 관련해 당신이 하신 말씀의 요지는, 결국 우리에게 그런 현장 학습 능력은 사실 필요하지 않다는 것처럼 들립니다. 제 해석이 틀렸다면 명확히 바로잡아 주셨으면 합니다만, 요컨대 AI가 실무를 통해 서서히 배우는 이런 기본적인 인간의 능력 없이도 엄청난 생산성 향상을 이룰 수 있고, 나아가 AI 기업들에게 수조 달러의 잠재적 수익을 가져다줄 수 있다는 뜻인 것 같습니다.

하지만 저는 경제 활동의 대부분의 영역을 살펴볼 때 사람들이 흔히 하는 말을 떠올리게 됩니다. 직원을 한 명 새로 뽑았어. 처음 몇 달 동안은 별로 큰 도움이 안 되더라고. 그런데 시간이 지나면서 그 직원이 우리 회사의 상황과 맥락에 대한 이해도를 점차 쌓아가더군. 여기서 우리가 말하는 그 능력이 정확히 무엇인지 정의하기는 어렵습니다. 하지만 그 직원들은 무언가를 확실히 체득했고, 이제는 부서의 핵심 전력이 되어 우리에게 너무나도 귀중한 존재가 되었습니다.

원문 흐름 26

그래서 저는 이런 생각이 듭니다. 만약 AI가 이렇게 실무 부딪히며 즉각적으로 학습하고 적응하는 능력을 스스로 개발하지 못한다면, 과연 그런 근본적인 능력의 부재 속에서 우리가 세상의 거대한 변화를 목격할 수 있을지 저는 조금 회의적입니다.

다리오 아모데이 Dario Amodei : 여기서 두 가지를 명확히 나누어 생각해 볼 수 있습니다.

첫 번째는 현재 우리가 도달한 기술의 상태입니다. 앞서 말씀드렸듯, 현재 기술에는 두 가지 핵심 단계가 있습니다. 먼저 방대한 데이터와 작업을 모델에 쏟아부어 일반화 능력을 갖추게 하는 사전훈련과 강화학습 단계입니다. 이것은 훈련과 비슷하지만, 한 명의 인간이나 하나의 모델이 평생에 걸쳐 배우는 것이 아니라 상상을 초월하는 막대한 데이터로부터 배우는 것입니다. 진화론적 과정과 인간의 학습, 그 중간 어디쯤에 위치한 형태죠. 하지만 일단 모델이 이 기술들을 배우고 나면, 그것들을 온전히 소유하게 됩니다.

사전훈련만으로 모델이 얼마나 방대한 지식을 갖추게 되는지 보십시오. 사전훈련된 모델은 저보다 일본 사무라이의 역사에 대해 더 잘 알고, 야구에 대해서도 저보다 잘 압니다. 로우패스 필터나 전자 공학 같은 분야에서도 저보다 훨씬 더 많은 것을 알고 있죠. 그 지식의 폭은 저와 비교할 수 없을 정도로 넓습니다. 그래서 저는 단지 이 사전훈련 능력 하나만으로도 모델이 거의 모든 면에서 인간보다 더 뛰어나게 되는 지점에 우리를 도달하게 할 수 있다고 생각합니다.

여기에 더해, 기존 모델의 구조를 확장하는 것만으로 얻을 수 있는 인컨텍스트 러닝(In-context learning, 컨텍스트 윈도우 내 학습)이 있습니다. 저는 이것을 인간의 실무 현장 학습과 비슷하지만, 다소 약하고 단기적인 버전이라고 부릅니다.

원문 흐름 27

인컨텍스트 러닝을 보십시오. 모델에게 수많은 예시를 주면 모델은 실제로 그것을 이해해 냅니다. 프롬프트 컨텍스트 안에서 진짜 학습이 일어나는 것이죠. 100만 토큰의 컨텍스트 윈도우는 엄청난 양입니다. 모델이 100만 단어를 읽어내는 분량은 인간으로 치면 최소 며칠에서 몇 주가 걸리는 맹렬한 학습량과 같습니다.

저는 현재 패러다임 내에 존재하는 이 두 가지(사전훈련 + 인컨텍스트 러닝)만으로도 데이터센터 안의 천재 국가를 실현하기에 충분할 수 있다고 봅니다. 완벽히는 몰라도 목표의 상당 부분은 달성할 것입니다. 물론 빈틈은 있겠지만, 저는 지금의 기술 상태만으로도 수조 달러의 수익(trillions of dollars of revenue)을 창출하기에 충분하다고 굳게 믿습니다. 여기까지가 첫 번째 포인트입니다.

두 번째 포인트는 바로 단일 모델이 현장에서 스스로 업무를 하며 배우는 연속학습(Continual learning)의 개념입니다. 우리 역시 이 연속학습 능력을 연구하고 있으며, 앞으로 1~2년 안에 이 문제 또한 해결할 가능성이 높다고 생각합니다. 다시 한번 강조하지만, 저는 이 능력이 완벽히 구현되지 않더라도 우리가 목표의 대부분에 도달할 수 있다고 봅니다. 연간 수조 달러 규모의 거대한 시장 형성이나, 제가 예전에 쓴 글에서 언급했던 국가 안보 및 사회적 안전에 관한 거대한 파급 효과들은 연속 학습 능력이 없어도 충분히 일어날 수 있습니다.

하지만 앤스로픽을 비롯한 많은 기업들이 이 궁극적인 문제를 풀기 위해 매달리고 있습니다. 이를 해결할 여러 아이디어가 있지만 여기서 다 설명하진 않겠습니다. 그중 하나는 아주 단순하게 '컨텍스트 윈도우를 무한히 길게 만드는 것'입니다. 컨텍스트 윈도우를 늘리는 데 있어 작동을 가로막는 근본적인 물리적 한계는 없습니다.

원문 흐름 28

그저 더 긴 문맥으로 모델을 훈련시키고, 추론 과정에서 이를 서비스할 방법만 찾아내면 됩니다. 이 두 가지 모두 순수한 엔지니어링 문제이며, 우리는 지금 이 순간에도 이 문제를 풀고 있습니다.

드와르케시 파텔 : 그러니까 이 컨텍스트 윈도우 규모 확장에 대해 이야기해 보죠. 2020년부터 2023년까지, GPT-3에서 GPT-4 Turbo로 넘어오면서 문맥 길이가 2,000토큰 수준에서 128,000토큰으로 급격히 증가했던 시기가 있었습니다. 그런데 그 이후로 약 2년여 동안은 우리가 대략 비슷한 수준에 정체되어 있다는 느낌이 듭니다.

게다가 모델의 문맥 길이를 그보다 훨씬 길게 늘리면, 모델이 그 방대한 문맥 전체를 제대로 고려하고 처리하는 능력에서 질적인 저하(qualitative degradation)가 발생한다고 사람들은 보고하고 있습니다. 그래서 저는 앤스로픽 내부적으로 도대체 어떤 지표나 성과를 보고 계시기에, "인간의 6개월 치 실무 학습량에 맞먹는 1,000만 토큰, 1억 토큰, 심지어 10억 토큰의 컨텍스트 윈도우 확장이 충분히 가능하겠구나"라고 확신하시는지 궁금합니다.

다리오 아모데이 Dario Amodei : 이건 연구차원의 문제가 아닙니다. 철저하게 엔지니어링과 추론의 문제죠. 만약 엄청나게 긴 컨텍스트를 유저에게 서비스하려고 한다면, 전체 KV cache를 전부 저장해야만 합니다. GPU 메모리 안에 그 막대한 데이터를 다 집어넣고, 그 메모리들을 이리저리 굴리며 조율하는 것은 정말 까다로운 일입니다. 솔직히 고백하자면 현시점에서는 저조차도 그 세부적인 디테일까지는 다 알지 못합니다.

제가 GPT-3를 만들던 시절만 해도 "이게 가중치(weights)고, 이게 활성화 값(activations)이니까 이렇게 저장해야 해"라며 다 꿰고 있었지만, 지금은 제가 직접 따라가기 어려울 정도로 기술적 디테일의 수준이 너무 높아졌거든요.

원문 흐름 29

요즘은 모델의 규모나 여러 인프라 상황이 예전과는 완전히 뒤바뀌어 버렸으니까요.

그리고 당신이 방금 말씀하신 그 질적 저하(degradation) 현상에 대해서, 너무 구체적인 내부 기밀까지는 들어가지 않는 선에서 제가 핵심을 짚어보겠습니다. 여기에는 두 가지 아주 다른 개념이 존재합니다.

하나는 모델을 훈련시킬 때 사용하는 컨텍스트 길이이고, 다른 하나는 실제로 유저에게 서비스(serve)할 때 제공하는 컨텍스트 길이입니다. 만약 당신이 짧은 컨텍스트 길이로만 모델을 훈련시켜 놓고, 정작 유저에게 서비스할 때는 억지로 엄청나게 긴 컨텍스트 길이를 지원하려고 한다면 아마도 방금 말한 그런 질적 저하(중간 내용을 까먹거나 정확도가 떨어지는 현상)가 발생할 것입니다.

물론 아예 안 되는 것보다는 낫기 때문에 기업들이 일단 그런 식으로 기능을 제공할 수는 있겠죠. 하지만 결국 저하는 발생합니다. 왜냐하면 애초에 처음부터 아주 긴 컨텍스트 길이를 통째로 넣고 모델을 훈련시키는 것 자체가 기술적으로 훨씬 더 고통스럽고 어려운 일이니까요.

드와르케시 파텔 : 동시에 저는 이런 깊고 지엽적인 기술적 주제 같은 질문도 던져보고 싶긴 합니다. 음, 만약 더 긴 컨텍스트 길이로 모델을 훈련시켜야 한다면, 결국 동일한 연산량 대비 모델에 주입할 수 있는 샘플의 수가 그만큼 줄어들게 되는 것 아닐까요? 하지만 지금 그 기술적인 디테일에 너무 깊이 파고드는 건 별로 의미가 없을 것 같네요.

대신 저는 훨씬 더 큰 그림에 대한 대답을 듣고 싶습니다. 질문은 이렇습니다. 나와 함께 6개월 동안 일해온 인간 편집자와 나와 함께 6개월 동안 일해온 AI 편집자를 두고 보았을 때, 제가 이 둘 사이에 아무런 선호도의 차이를 느끼지 못하게 되는 상황 말입니다.

원문 흐름 30

당신은 정확히 몇 년도에 그런 일이 현실이 될 거라고 예측하십니까?

다리오 아모데이 Dario Amodei : 제 추측은 이렇습니다. 기본적으로 우리가 '데이터센터 안의 천재 국가'를 갖게 되면 해결할 수 있는 수많은 문제들이 존재합니다. 그래서 그 시기에 대한 제 머릿속의 그림은... 거듭 말씀드리지만, 굳이 제게 시기를 추측해 보라고 강권하신다면 대략 1~2년, 어쩌면 1~3년 정도 걸릴 것 같습니다. 정확히 언제라고 단정 짓기는 정말 어렵습니다.

하지만 저는 이 모든 일들이 10년 안에는 무조건 일어날 것이라는, 95%~99%에 달하는 강한 확신을 가지고 있습니다. 10년이라는 타임라인은 정말이지 아주 안전한 베팅이라고 생각합니다. 하지만 제 직감으로는, 비록 확률이 50대 50이긴 하지만, 그 시기가 10년보다는 1~3년에 훨씬 더 가까울 것이라고 봅니다.

드와르케시 파텔 : 그러니까 1년에서 3년 사이라는 말씀이군요. 천재 국가 수준의 AI가 등장해서... 음, 그리고 경제적 가치가 약간 떨어지는 제 영상 편집 같은 작업들도 다 해내게 된다는 말씀이시군요.

다리오 아모데이 Dario Amodei : 영상 편집의 경제적 가치도 꽤 높다고 말씀드리고 싶네요. 단지 세상에는 그런 종류의 사용 사례가 엄청나게 많다는 것뿐이죠, 안 그렇습니까? 그와 비슷한 수많은 일들이 세상엔 아주 많으니까요.

책임감 있는 AI CapEx의 의미

"Extremely fast, but not infinitely fast"

드와르케시 파텔 : 그러니까 당신은 1년에서 3년 안에, 음, 그리고 전반적으로 앤스로픽은 2026년 말이나 2027년 초쯤이면 우리가 다음과 같은 AI 시스템을 갖게 될 것이라고 예측해 오셨습니다. 인용하자면, "오늘날 디지털 작업을 하는 인간이 사용하는 인터페이스를 탐색할 수 있는 능력, 노벨상 수상자와 맞먹거나 그를 뛰어넘는 지적 능력, 그리고 물리적 세계와 상호 작용할 수 있는 능력"을 갖춘 AI 말입니다.

원문 흐름 31

그런데 당신은 두 달 전 Dealbook과의 인터뷰에서 경쟁사들과 비교해 앤스로픽의 더 '책임감 있는 컴퓨팅 스케일링(responsible compute scaling)'을 강조하셨습니다. 저는 이 두 가지 상충되는 시각의 아귀를 맞춰보려고 노력 중입니다. 만약 당신이 정말로 우리가 '천재 국가'를 갖게 될 것이라고 믿는다면, 당신은 가능한 한 가장 거대한 데이터 센터를 원할 것이고 발전 속도를 늦출 이유가 전혀 없을 텐데요.

실제로 노벨상 수상자가 할 수 있는 모든 일을 해내는 노벨상 수상자급 AI의 총 시장 규모는 수조 달러에 달할 테니까요. 그래서 저는 이 보수적인 태도, 즉 AI 발전에 대해 좀 더 온건하고 느린 타임라인을 예상할 때나 합리적으로 보일 법한 이 보수성이, 당신이 공개적으로 밝혀온 엄청나게 빠른 AI 발전 속도에 대한 견해와 도대체 어떻게 양립할 수 있는지 묻고 싶습니다.

다리오 아모데이 Dario Amodei : 네. 사실 이 모든 것은 하나로 완벽하게 연결되며, 아까 말씀드렸던 빠르지만 무한하게 빠르지는 않은 경제적 확산(diffusion) 이야기로 다시 돌아가게 됩니다. 가령 기술이 이 정도의 속도로 발전하고 있다고 해봅시다. 거듭 말씀드리지만, 저는 우리가 몇 년 안에 AGI에 도달할 것이라는 매우 강한 확신을 가지고 있습니다. 제 직감으로는 1~2년 안일 수도 있죠. 기술적인 측면에서 약간의 불확실성은 있지만, 크게 빗나가지 않을 것이라는 아주 강한 자신감이 있습니다.

하지만 제가 덜 확신하는 부분은 바로 그 경제적 확산의 속도입니다. 저는 1~2년 안에 데이터센터 안의 천재가 있는 국가 수준의 모델을 구현할 수 있다고 정말로 믿습니다. 하지만 여기서 질문은 이것입니다.

원문 흐름 32

"그 AI가 완성된 후, 그 수조 달러의 수익이 실제로 굴러들어오기 시작할 때까지 과연 몇 년이 걸릴 것인가?" 저는 그 수익 창출이 즉각적일 것이라고 장담하지 못합니다. 1년이 걸릴 수도 있고, 2년이 걸릴 수도 있으며, 제 생각엔 회의적이긴 하지만 길게는 5년까지 늘어질 수도 있습니다.

그래서 우리에게는 이런 불확실성이 존재합니다. 설령 기술이 제가 예상한 대로 엄청나게 빨리 발전한다 하더라도, 그것이 매출로 연결되는 속도가 얼마나 빠를지는 정확히 알 수 없습니다. AGI가 온다는 것은 알지만, 데이터 센터 컴퓨팅 인프라를 구매하는 방식의 특성상 그 예측이 1~2년만 어긋나도 회사는 파산할 수 있습니다.

제가 예전에 쓴 글 <Machines of Loving Grace>에서 언급했던 것과 똑같습니다. 당신이 방금 묘사한 그 구절도 제 글에서 가져온 것이죠. 저는 2026년이나 2027년쯤에 그 강력한 AI, 데이터센터 안의 천재 국가를 얻게 될 것이라고 썼습니다. 다시 한번 말하지만 이건 제 직감이고, 1~2년 정도 틀린다 해도 놀랍지 않겠지만 어쨌든 제 직감은 그렇습니다. 자, 실제로 그 일이 일어났다고 칩시다. 그것은 단지 출발 신호(starting gun)일뿐입니다.

모든 질병을 치료하는 데는 얼마나 걸릴까요? 질병 정복은 막대한 경제적 가치를 창출하는 핵심 방법의 하나입니다. 그 이익 중 얼마가 제약사로 가고 얼마가 AI 기업으로 갈지의 문제는 차치하더라도, 우리 모두가 혜택을 누릴 수 있다면 엄청난 소비자 잉여(consumer surplus)가 발생할 것입니다. 하지만 그 모든 질병을 치료하기까지 실제로 얼마나 걸릴까요? AI가 생물학적 발견을 해내더라도, 신약을 제조하고, 엄격한 규제 당국의 승인 절차를 거쳐야 합니다.

원문 흐름 33

우리는 이미 코로나19 백신 사태 때 이를 목격했습니다. 백신 개발 자체는 빨랐지만 모든 사람에게 보급되기까지는 1년 반이 걸렸죠. 그러니 제 질문은 이렇습니다. 이론상 모든 것을 발명할 수 있는 천재 AI가 연구실에서 처음 탄생한 시점부터, 실제로 모든 사람의 질병이 완치되는 시점까지 과연 얼마나 걸리겠습니까? 인류는 소아마비 백신을 50년 전에 개발했지만, 빌 게이츠 재단과 수많은 사람들이 필사적으로 노력하고 있음에도 불구하고 아프리카 오지에서는 여전히 소아마비를 근절시키기 위해 싸우고 있습니다. 물론 대부분의 경제적 확산이 소아마비 근절만큼 어렵진 않겠지만, 이것은 현실 세계의 마찰력을 보여주는 극단적인 사례입니다.

여기에 진짜 딜레마가 있습니다. 제가 내린 결론은 "기술의 확산은 인류가 본 적 없는 속도로 빠를 테지만, 여전히 현실의 한계는 존재한다"는 것입니다. 이러한 전제를 가지고 데이터센터 구매(CapEx 투자) 문제로 돌아가 봅시다. 올해 초를 기준으로 우리의 ARR은 $10B 규모를 바라보고 있었고, 매년 10배씩 성장해 왔습니다. 우리는 컴퓨팅을 얼마나 구매할지 결정해야 합니다. 데이터센터를 예약하고 실제로 구축하는 데는 1~2년이 걸립니다.

자, 2027년에 제가 얼마나 많은 컴퓨팅 인프라를 확보해야 할까요? 매출이 계속 매년 10배씩 뛸 것이라 가정하면 2026년 말에는 $100B, 2027년 말에는 $1T 매출을 올리겠죠. 그렇다면 저는 2027년 말에 가동을 시작할 1조 달러어치의 컴퓨팅을 지금 미리 사둬야 할까요? 이때 기준 연간 CapEx는 총 $5T가 들어갈 겁니다.

다리오 아모데이 Dario Amodei : 그런데 만약 업계의 그해 실제 AI ARR이 $1T가 아니라 $800B에 그친다면 어떻게 될까요?

원문 흐름 34

그 엄청난 규모의 컴퓨팅 투자를 이미 저질러 버렸다면, 지구상의 그 어떤 힘으로도, 그 어떤 헤지 수단으로도 회사가 파산하는 것을 막을 수 없습니다. 제 뇌의 한구석에서는 매출이 계속 10배씩 성장할지 모른다고 외치지만, 저는 2027년을 위해 연간 $1T어치의 컴퓨팅을 구매할 수는 없습니다. 그 성장 속도 예측이 단 1년만 빗나가거나, 성장률이 10배가 아니라 5배로 떨어지기만 해도 회사는 곧바로 파산하니까요.

그래서 결국 우리는 수조 달러가 아닌 수천억 달러 단위의 인프라를 지원하는 세계에 안착하게 되는 것입니다. 수요가 너무 폭발적인데 우리가 미리 구축해 둔 인프라가 부족해서 더 큰 매출을 올리지 못할 위험(기회비용)도 기꺼이 감수하고, 반대로 우리가 예측을 잘못해서 예상보다 성장이 둔화할 위험(투자 손실)도 어느 정도 감수하는 균형점을 찾는 것이죠.

따라서 제가 '책임감 있게 행동한다(behaving responsibly)'고 말했을 때, 그것은 단지 투자 금액의 절대적인 액수만을 의미하는 것이 아니었습니다. 물론 우리가 다른 경쟁사들보다 컴퓨팅에 돈을 다소 적게 쓰고 있는 것은 사실입니다. 하지만 진짜 의미는 "우리가 이 막대한 투자에 대해 재무적으로 치밀하게 고민하고 있는가, 아니면 그냥 앞뒤 재지 않고 YOLOing하듯 '여기에 천억 달러 박고, 저기에도 천억 달러 박자'라고 막 지르고 있는가?" 하는 점입니다.

솔직히 저는 다른 경쟁 기업 중 일부는 엑셀 스프레드시트조차 제대로 돌려보지 않고, 자신들이 짊어지고 있는 재무적 리스크가 얼마나 거대한지 전혀 이해하지 못하고 있다는 인상을 받습니다. 그들은 그저 언론에 멋있게 들린다는 이유로 막대한 돈을 쏟아붓고 있습니다. 반면 우리는 뼈를 깎는 고민을 거쳤습니다.

원문 흐름 35

우리는 B2B 비즈니스를 합니다. 따라서 우리는 변덕스러운 B2C 소비자 매출보다 훨씬 더 안정적이고 예측 가능한 매출에 의존할 수 있습니다. 마진 또한 훨씬 좋죠. 이 탄탄한 마진이 바로 너무 많이 샀을 때와 너무 적게 샀을 때의 충격을 흡수해 주는 완충재 역할을 합니다.

그래서 우리는 기술이 엄청나게 성공하는 시나리오의 이점을 충분히 포착할 수 있을 만큼의 인프라를 구매했다고 생각합니다. 물론 매년 10배의 성장이라는 아슬아슬한 줄타기는 하지 않겠지만요. 상황이 정말 끔찍하게 나빠지지 않는 한 우리가 재정적인 곤경에 처할 일은 없을 것입니다. 우리는 매우 신중하게 생각했고, 그 재무적 균형을 맞췄습니다. 이것이 바로 제가 말하는 '책임감 있는 인프라 확장'의 진짜 의미입니다.

이것을 살펴보면, 그러니까, 앤스로픽 특정 기업에 대해서만 국한해서 말하지는 않겠습니다. 하지만 업계 전체로 시야를 넓혀서 이야기해 보죠. 올해 AI 업계 전체가 구축하고 있는 컴퓨팅 인프라 규모는 아마도, 글쎄요, 2026년에는 10GW 초반대, 대략 10~15GW 수준일 겁니다. 이 규모는 매년 대략 3배씩 증가하고 있으니까, 2027년에는 30~40GW가 될 거고, 2028년에는 100GW, 2029년쯤에는 300GW 수준까지 치솟을 수 있습니다.

그리고 1GW의 인프라를 구축하는 데 드는 비용이 대략... 지금 제가 머릿속으로 대충 계산을 해보는 거지만, 1GW당 연간 $10~$15B 정도가 든다고 볼 수 있습니다. 그래서 이 수치들을 전부 종합해 보면, 방금 당신이 묘사했던 바로 그 엄청난 숫자가 도출됩니다. 2028년이나 2029년쯤이 되면, 연간 수조 달러(multiple trillions a year) 단위의 거대한 자본이 투입됩니다.

원문 흐름 36

물론, 이것은 우리 회사 단독이 아니라 업계 전체 기준의 수치입니다. 빅테크 업계 전체가 합작해서 만들어내는 규모라는 뜻이죠.

AI Labs는 흑자를 낼 수 있을까?

그렇다면 지금은 왜 적자를 내고 있는가?

드와르케시 파텔 : 당신은 투자자들에게 2028년부터 흑자 전환할 계획이라고 밝혔습니다. 그런데 2028년은 당신의 예측에 따르면 우리가 데이터센터 안에서 '천재 국가'를 얻게 될 가능성이 있는 바로 그 해입니다. 그리고 이 천재 국가가 의학, 건강, 신기술 등 모든 분야의 눈부신 발전을 폭발적으로 이끌어낼 테고요. 그렇다면 오히려 2028년이야말로 창출된 수익을 비즈니스에 전액 재투자해서, 그 천재들이 더 많은 혁신적인 발견을 해낼 수 있도록 '더 거대한 천재 국가'를 건설해야 하는 완벽한 타이밍 아닙니까?

다리오 아모데이 Dario Amodei : 글쎄요, 제 말은, 이 분야에서 수익성(profitability)이라는 것은 참 기묘한 개념입니다. 수익성이라는 지표가 '기업에 대한 투자를 줄이고 현금을 회수하는 상태'를 의미한다고 생각하지 않습니다. 이 상황을 하나의 모델로 가정해 봅시다. 제 생각에 이 업계에서 흑자가 난다는 것은 실제로는 '우리가 예상했던 것보다 수요를 과소평가했을 때' 발생하는 현상입니다. 반대로 적자가 나는 것은 '수요를 과대평가했을 때' 발생하죠. 왜냐하면 우리는 실제 수요가 발생하기 한참 전에 미리 데이터센터를 사둬야 하기 때문입니다.

이렇게 생각해 보죠. 아주 이상적인 상황입니다. 다시 말씀드리지만 이건 단순화된 사실(stylized facts)이고 정확한 수치는 아닙니다. 그저 이해를 돕기 위한 장난감 모델을 만들어보려는 겁니다.

우리가 가진 전체 컴퓨팅 인프라의 절반을 AI 모델 훈련에 쓰고, 나머지 절반을 유저들에게 서비스하는 추론에 쓴다고 가정해 봅시다.

원문 흐름 37

그리고 이 추론 서비스의 GPM이 50%를 넘는다고 해보죠. 이것이 의미하는 바는 이렇습니다. 만약 회사가 안정적인 상태에 있고, 데이터센터를 지었으며, 앞으로 들어올 고객 수요를 '정확하게' 예측했다면 일정한 매출이 발생할 것입니다. 예를 들어, 우리가 매년 컴퓨팅 비용으로 $100B를 지불한다고 칩시다. 이 중 $50B어치의 컴퓨팅을 유저 서비스(추론)에 할당하여 $150B의 매출을 올립니다. 그리고 남은 $50B어치의 컴퓨팅은 다음 세대 AI를 위한 연구와 훈련에 사용합니다.

결과적으로 회사는 수익을 냅니다. $50B의 흑자가 발생하는 거죠. 이것이 현재 AI 업계의 경제학입니다. 아, 죄송합니다. '현재'가 아니라 앞으로 1~2년 뒤에 우리가 예상하는 미래의 모습이 그렇다는 뜻입니다.

이 계획이 틀어지는 유일한 경우는 수요 예측이 빗나갈 때입니다. 만약 $50B어치 컴퓨팅을 돌릴 만큼의 유저 수요가 들어오지 않는다면 어떻게 될까요? 남는 데이터 센터 자원을 50% 이상 전부 연구(Research) 쪽으로 돌리게 될 것이고, 회사는 적자를 보게 됩니다. 하지만 엄청난 컴퓨팅을 쏟아부었으니 훨씬 더 강력한 다음 세대 모델을 얻게 되겠죠. 반대로 유저 수요가 예상보다 너무 폭발적이라면 어떻게 될까요? 당장 서비스를 감당하느라 연구 쪽에 배정할 컴퓨팅 자원이 쪼그라들게 됩니다. 연구 속도는 느려지겠지만, 추론 비중이 늘어났으니 회사는 엄청난 흑자를 기록하게 될 것입니다.

제가 설명을 잘하고 있는지 모르겠지만, 제가 말씀드리고 싶은 핵심은 이겁니다. 우리는 컴퓨팅 인프라의 총량을 수년 전에 미리 결정해 둡니다. 그리고 훈련용과 추론용으로 나눌 목표 비율을 정해두죠. 하지만 최종적으로 그 비율을 결정짓고 수익성을 좌우하는 것은 실제 시장의 수요입니다.

원문 흐름 38

경영진의 의도적인 투자 축소 결정이 아니라는 뜻입니다.

그래서, 2028년이나 그 시점에 흑자 전환이 일어날 것이라는 이야기들은, 투자자들을 상대로 우리가 할 수 있는 최선의 예측을 제공하려는 노력의 일환일 뿐입니다. 이 모든 것들은 거대한 불확실성의 원뿔(cone of uncertainty)이기 때문에 사실 정말로 불확실합니다. 예를 들어, 만약 매출이 예상보다 훨씬 빠르게 성장한다면 우리는 당장 2026년에도 흑자를 낼 수 있습니다. 하지만 우리가 향후 수요를 과대평가하거나 과소평가하게 되면, 바로 그다음 해에 실적이 극심하게 요동칠 수도 있죠.

제가 궁극적으로 말씀드리고 싶은 핵심은 이것입니다. 당신의 머릿속에는 기업이 '투자하고, 투자하고, 또 투자해서 마침내 압도적인 규모를 달성한 다음, 수익을 내는 기업으로 전환하는' 전통적인 비즈니스 모델이 자리 잡고 있는 것 같습니다. 상황이 완전히 흑자로 반전되는 단 하나의 영구적인 변곡점(single point)이 존재한다는 생각 말입니다. 하지만 저는 이 AI 산업의 경제학이 결코 그런 식으로 작동한다고 생각하지 않는다는 것입니다.

*정리하자면 이렇습니다.

단기적 메커니즘 : '고정된 인프라'와 '예측 불가능한 수요'의 딜레마

AI 기업들은 1~2년 뒤의 수요를 예측해 천문학적인 컴퓨팅(CapEx)을 미리 구매약정해 두어야 합니다. 따라서 이미 확보된 컴퓨팅 자원을 '유저 서비스(추론)'와 '차세대 모델 훈련(연구)'에 어떻게 나누느냐에 따라 단기 실적이 강제로 결정됩니다.

수요 과대평가(적자 발생 / 연구 가속) : 유저 수요가 예상보다 적으면, 남는 컴퓨팅 자원이 모두 다음 세대 모델 훈련으로 쏠립니다. 당장의 GPM은 낮아져 큰 적자를 보지만, 경쟁사를 압도할 강력한 차세대 모델을 더 빨리 얻게 됩니다.

원문 흐름 39

수요 과소평가(흑자 발생 / 연구 지연) : 유저 수요가 폭발하면, 서비스를 감당하기 위해 연구에 배정할 컴퓨팅까지 끌어와야 합니다. 추론의 마진율이 높으므로 엄청난 흑자(GPM 상승)를 내지만, 차세대 모델 연구 속도는 느려집니다.

장기적 메커니즘 : 스케일링의 한계 도달과 '구조적 흑자' 전환

현재 AI 기업들이 적자를 보는 근본적인 이유는 모델 자체의 수익성이 떨어져서가 아닙니다. 개별 모델은 돈을 벌고 있지만, 다음 세대 모델을 학습시키는 데 매년 10배(log scale)의 자본을 쏟아붓고 있기 때문입니다.

성장의 한계선 도달 : 하지만 이 10배씩 뛰는 투자 규모는 영원할 수 없습니다. 언젠가 물리적 한계나 전 세계 GDP 규모라는 경제적 상한선에 부딪히게 됩니다.

투자 평탄화와 대규모 흑자 : 이 임계점에 도달하면, 차세대 모델을 훈련하는 비용이 이전 모델 훈련 비용과 엇비슷해지는 '평형 상태'가 옵니다. 지수함수적 비용 팽창이 멈추고, AGI(데이터센터 안의 천재 국가)가 창출하는 막대한 부가가치가 온전히 회사의 이익으로 쌓이면서 진정한 의미의 거대한 구조적 흑자가 시작됩니다.

드와르케시 파텔 : 제가 제대로 이해한 게 맞다면, 우리가 확보했어야 할 컴퓨팅의 양과 실제로 확보한 컴퓨팅 양 사이의 불일치 때문에, 우리가 어쩌다 보니 일종의 '강제 흑자(forced to make profit)'를 내게 된 상황이라는 말씀이시군요. 하지만 그렇다고 해서 우리가 앞으로도 계속 흑자를 낼 거란 뜻은 아니고요. 오히려 우리는 그 돈을 다시 재투자하게 될 것입니다. 왜냐하면, 글쎄요, 이제 AI가 엄청난 발전을 이뤘고 우리는 더 거대한 '천재 국가'를 원하게 될 테니까요. 그래서 결국 다시, 어, 매출은 높지만 그만큼 적자 역시 엄청나게 높은 상태로 되돌아가게 된다는 뜻이군요.

원문 흐름 40

다리오 아모데이 Dario Amodei : 만약 우리가 예측한다면, 그러니까 매년 유저의 수요가 정확히 어느 정도일지 완벽하게 예측해 낼 수만 있다면, 우리는 매년 꾸준히 흑자를 낼 것입니다. 왜냐하면 대략적으로 전체 컴퓨팅 자원의 50%를 연구에 쓰고 나머지 50%를 서비스에 쓰는데, 이 서비스의 GPM이 50%보다 높기 때문입니다.

즉, 정확한 수요 예측은 곧 흑자로 이어집니다. 그것이 바로 제가 생각하는 이 비즈니스의 진짜 모습입니다. 기저에는 분명히 수익을 내는 탄탄한 비즈니스 모델이 존재하지만, 현실에서는 수년 앞서 데이터센터를 미리 지어둬야 하는 선제적 인프라 구축(building ahead)과 불가피하게 발생하는 예측의 오차(prediction errors)라는 장막에 가려져 잘 보이지 않을 뿐이죠.

드와르케시 파텔 : 제 생각에 당신은 그 50%라는 수치를 일종의 주어진 고정 상수처럼 취급하고 계신 것 같군요. 하지만 실제로는 다르지 않을까요? 만약 AI의 발전 속도가 엄청나게 빠르고, 연산량 규모를 더 키워서 그 발전 속도를 더욱 가속할 수 있다면, 당신은 당연히 50%가 넘는 자원을 연구에 쏟아부을 것이고 결국 적자를 감수하게 될 텐데 말이죠.

다리오 아모데이 Dario Amodei : 당신 말대로 규모를 더 키우고 싶을 수도 있습니다. 연산량을 더 끌어올리고 싶을 수 있죠. 하지만, 스케일링에 따른 로그 수익(log returns, 로그 함수적 수확)의 법칙을 기억하셔야 합니다. 만약 연구 비중을 50%에서 70%로 늘린다고 가정해 봅시다. 그러면 연산량은 1.4배 증가하겠지만, 정작 모델 성능의 향상폭은 아주 미미할 것입니다. 거기에 추가로 쏟아부은 $20B의 투자는, 그러니까 그 돈의 1달러당 가치는 이 '로그 선형(log-linear)' 구조 때문에 회사에 훨씬 적은 효용을 가져다주게 됩니다.

원문 흐름 41

그래서 결국 경영자라면, 차라리 그 $20B를 유저들에게 추론 서비스를 제공하여 돈을 버는 데 쓰거나, 혹은 자기 일을 기가 막히게 잘해내는 초일류 엔지니어들을 고용하는 데 투자하는 편이 낫다는 결론에 도달하게 될 겁니다. 따라서 제가 앞서 '50%'라고 말했던 것은 그것이 우리의 고정된 목표치이기 때문이 아닙니다. 정확히 50%로 고정되지도 않을 것이고, 상황과 시간에 따라 변동하겠죠.

제가 말씀드리고 싶은 핵심은 이 '로그 선형적 수익' 구조가 이끄는 결론입니다. 이 수학적 구조 때문에 결국 기업은 비즈니스 자원의 극단적이지 않은 합리적인 비율(order one fraction)만을 연구에 쓰게 된다는 것입니다. 5%처럼 너무 적지도 않고, 95%처럼 맹목적으로 많지도 않게 말이죠. 그 선을 넘어가게 되면 이른바 벽에 부딪히기 때문에 지독한 수확 체감(diminishing returns)의 함정에 빠지게 됩니다.

드와르케시 파텔 : 당신은 수확 체감의 법칙 때문에 연구에만 무한정 투자하지는 않지만, 앞서 언급하셨던 다른 요소들에는 투자를 하신다는 뜻이군요.

다리오 아모데이 Dario Amodei : 앤스로픽 내부의 구체적인 정보를 말씀드리고 싶지는 않아서 이런 단순화된 숫자들을 예시로 드는 것입니다만, 업계 전체의 균형점을 한번 도출해 봅시다.

왜 모든 기업이 자신들이 가진 컴퓨팅의 100%를 모델 훈련에만 쏟아붓고 고객에게는 추론하지 않는 경우는 택하지 않는 걸까요? 만약 그들이 매출을 전혀 내지 못한다면, 투자금을 유치할 수도 없고, 컴퓨팅 계약을 맺을 수도 없으며, 내년에 쓸 컴퓨팅 자원을 추가로 구매할 수도 없기 때문입니다. 따라서 모든 기업이 훈련에 100% 미만을 쓰고, 당연히 추론에도 100% 미만을 쓰는 어떤 균형점이 존재하게 될 것입니다.

원문 흐름 42

반대로 단순히 현재 모델만 서비스하면서 새로운 모델을 전혀 학습시키지 않는 이유도 명확합니다. 그렇게 하면 기술 경쟁에서 뒤처져서 결국 수요 자체가 사라져 버릴 테니까요.

즉, 어떠한 균형점이 있습니다. 그게 10%는 아닐 거고, 90%도 아닐 겁니다. 그냥 이해를 돕기 위한 단순화된 사실로서 그게 50%라고 가정해 보죠. 이게 제가 말씀드리려는 요지입니다. 그리고 제 생각에 우리는 머지않아, 그 훈련에 들이는 비용의 균형점이 컴퓨팅을 통해 얻을 수 있는 GPM보다 낮아지는 위치에 도달할 것입니다.

따라서 근본적인 경제 구조 자체는 흑자를 내게 되어 있습니다. 문제는 내년도 컴퓨팅 자원을 미리 구매할 때 겪게 되는 이 지옥 같은 수요 예측의 난제입니다. 수요를 과소평가하면 아주 큰 흑자를 내겠지만 연구에 쓸 컴퓨팅 자원이 바닥날 것이고, 수요를 과대평가하면 적자를 보겠지만 세상에서 가장 많은 연구용 컴퓨팅 자원을 갖게 되겠죠. 업계 전체의 역동적인 모델로서 이 설명이 좀 타당하게 들리시나요?

드와르케시 파텔 : 당신이 방금 설명해 주신 그 최종 결론(수요 예측의 어려움과 신중한 자본 배치)은 제게도 아주 타당하고 합리적으로 들립니다. 하지만 그게 타당하게 들리는 이유는, "아, AGI를 실현하는 것은 여전히 무척 어렵고 아직 갈 길이 한참 멀구나"라고 전제했을 때의 이야기입니다.

그래서 다시 본질로 돌아가 제가 정말 묻고 싶은 것은 이겁니다. 당신이 지금 보여주고 있는 세계관과 비즈니스적 판단들은, 사실 "우리가 수조 달러의 수익을 창출하는 세상으로부터 아직 한 10년쯤은 떨어져 있다"고 말하는 사람의 태도와 훨씬 더 앞뒤가 잘 맞는 것 같습니다.

다리오 아모데이 Dario Amodei : 그건 전혀, 단연코 제 견해가 아닙니다.

원문 흐름 43

제 생각은 절대 그렇지 않습니다.

음, 그래서 제가 다시 한번 확실한 예측을 해보겠습니다. 저는 2030년 이전에 수조 달러 규모의 수익이 창출되지 않을 것이라고는 도저히 상상하기 어렵습니다. 음, 제가 가장 그럴듯한(plausible) 시나리오 하나를 구성해 보죠. 아마 3년 정도 걸릴 수 있습니다. 그게 제가 생각하는 가장 늦춰진 타임라인의 끝자락일 겁니다. 가령 2028년에, 우리는 데이터센터 안에서 진짜 천재들이 가득한 국가를 얻게 됩니다. 아시다시피, 2028년쯤 되면 업계의 매출은 아마 $200~300B(low hundreds of billions)에 진입해 있을 것이고, 그때 완성된 이 천재국가가 그 매출을 단숨에 수조 달러 규모로 가속화하는 겁니다.

그리고 이 시나리오는 기본적으로 기술의 경제적 확산(diffusion)이 가장 느리게 일어나는 최악의 경우(slow end)를 가정한 겁니다. 수조 달러에 도달하는 데 AGI 완성 후 2년이나 더 걸린다고 치는 거니까요. 그것이 바로, 그 시나리오가 바로 수익 창출이 2030년까지 지연되는 세상의 모습입니다. 제 생각에는 기술 발전의 지수함수적 성장(technical exponential)과 경제적 확산의 지수함수적 성장(diffusion exponential)을 모두 결합해 보더라도, 우리는 분명 2030년 이전에 그곳에 도달할 것입니다.

글쎄요, 제 생각에 수익이 창출되는 방식은 이렇습니다. 자, 여기서 전체 산업을 한번 추상화해 봅시다. 마치 우리가 경제학 교과서 안에 들어와 있다고 상상해 보는 겁니다. 시장에 소수의 기업들이 존재합니다. 각 기업은 제한된 금액을, 혹은 자본의 일정 비율을 R&D에 투자할 수 있습니다.

원문 흐름 44

그리고 고객에게 서비스를 제공하는 데 드는 한계 비용(marginal cost)이 존재하죠. 그런데 이 한계 비용 대비 GPM은 매우 높습니다. 왜냐하면 추론과정이 꽤 효율적이기 때문입니다. 물론 시장에 어느 정도 경쟁은 존재하지만, 각 기업의 AI 모델들은 서로 차별화되어 있습니다.

당연히 기업들은 자신들의 연구 예산을 한껏 끌어올리기 위해 서로 치열하게 경쟁할 것입니다. 하지만 시장에 참여하는 플레이어의 수가 소수이기 때문에, 쿠르노 균형(Cournot equilibrium)이라고 하던가요? 제 기억에 소수 기업이 지배하는 과점 시장의 균형을 뜻하는 용어가 그거였던 것 같네요. 제가 말하려는 핵심은 이겁니다. 이 AI 시장은 기업들의 이윤이 0으로 수렴해 버리는 완전 경쟁(perfect competition) 상태로 절대 균형을 이루지 않는다는 것입니다. 경제 체제 안에 만약 세 개의 거대 기업이 존재하고, 그 셋이 각자 독립적이면서도 합리적으로 행동한다면, 이 시장의 이익은 결코 '0'으로 수렴하지 않습니다.

드와르케시 파텔 : 제가 이해할 수 있게 좀 도와주시죠. 왜냐하면 지금 현재 시점에도 시장을 선도하는 선두 기업 세 곳이 엄연히 존재하지만, 그들은 전혀 흑자를 내지 못하고 있으니까요. 음, 그렇다면 도대체 무엇이, 어, 네, 앞으로 도대체 무엇이 변한다는 겁니까?

다리오 아모데이 Dario Amodei : 거듭 말씀드리지만, 현재 AI 비즈니스의 GPM은 매우 긍정적입니다. 지금 벌어지고 있는 적자 상황은 크게 두 가지 요소가 결합된 결과입니다.

첫 번째는 우리가 아직 컴퓨팅 투자의 지수함수적 확장 단계 한가운데에 있다는 점입니다. 기본적으로 그게 무슨 뜻이냐면, 예를 들어 작년에 $1B를 들여서 어떤 AI 모델을 하나 훈련시켰다고 가정해 봅시다.

원문 흐름 45

그리고 올해 그 모델이 $4B의 매출을 올렸고, 유저들에게 서비스를 제공하는 데 $1B의 비용이 들었다고 해보죠.

다시 한번 말씀드리지만 이건 이해를 돕기 위한 단순화된 숫자입니다만, 이 경우 GPM은 75%가 되고, 25%의 추론 비용이 발생한 셈입니다. 결과적으로 <매출 40억 - 추론 10억 - 작년 훈련비 10억> 그 단일 모델 자체만 놓고 보면 $2B의 순수익을 낸 것입니다. 하지만 동시에, 우리는 다음 세대 모델을 학습시키는 데 $10B를 쏟아붓고 있습니다. 왜냐하면 지수함수적인 스케일업 경쟁이 벌어지고 있기 때문이죠. 바로 이래서 회사 전체로는 돈을 잃는 것입니다.

핵심은 이것입니다. 개별 모델은 돈을 벌지만, 회사는 적자를 봅니다. 제가 앞서 말씀드린 균형점이라는 것은, 우리가 마침내 AGI를 갖게 되는 시점의 균형을 뜻합니다. 데이터센터 안에 천재들이 사는 국가를 구축했지만, 그 거대한 모델 훈련비용의 팽창 속도가 마침내 어느 정도 평형을 이룬 상태 말입니다. 물론 그때도 여전히 투자 규모는 올라가고 있을 테고, 우리는 계속해서 수요를 예측하려 애쓰고 있겠지만, 지금처럼 10배씩 뛰는 것이 아니라 훨씬 더 완만하게 평탄화된(leveled out) 상태일 것입니다.

드와르케시 파텔 : 현재의 세계부터 먼저 짚고 넘어가 보죠. 음, 현재 상황에서 당신의 말이 맞습니다. 아까 말씀하셨듯, 각각의 개별 모델을 하나의 독립된 회사로 취급한다면 확실히 수익을 내고 있는 게 맞죠. 하지만 당연하게도, 최전선에 있는 AI 연구소로서 생존하기 위한 생산 함수(production function)의 가장 큰 부분은 바로 '다음 세대 모델을 학습시키는 것' 아닙니까?

원문 흐름 46

그러니까 만약 그 투자를 멈춘다면, 회사는 한 두 달 정도는 흑자를 내겠지만 그 이후에는 마진을 전혀 남기지 못할 겁니다. 왜냐하면 시장에서 가장 뛰어난 최고의 모델 타이틀을 잃게 될 테니까요. 그러니, 네, 당신들은 현재 모델을 가지고 두 달 동안만 수익을 낼 수 있는 셈입니다.

다리오 아모데이 Dario Amodei : 어느 시점이 되면, 그 확장은 물리적 혹은 경제적으로 도달할 수 있는 최대치에 다다르게 될 것입니다. 현재 우리 지구의 GDP에 수렴하게 될테니까요. 그리고 나면, 마침내 그 균형 상태 안에서 우리는 알고리즘적인 발전을 이어나가게 되겠죠. 하지만 그때가 되면, 우리가 다음 세대 모델을 훈련하는 데 지출하는 비용은 대략 현재 모델을 훈련하는 데 썼던 비용과 거의 같은 수준(spending roughly the same amount)에 머물게 될 것입니다.

하지만 이것은 제가 계속해서 강조해 온 주제의 또 다른 예시이기도 합니다. 즉, 앞으로 경제는 AI와 함께 그 어느 때보다 훨씬 더 빠르게 성장할 것이라는 점이죠. 하지만 현재 컴퓨팅 인프라가 매년 300%씩 성장하고 있다고 해서, 실제 경제 성장률이 매년 300%씩 기록될 것이라고 믿지는 않습니다. 제가 <Machines of Loving Grace>에서도 썼듯이, 우리는 연간 10% 혹은 20% 정도의 경이로운 경제 성장률을 목격할 수는 있겠지만, 300%라는 수치는 불가능합니다. 결국 제 생각에, 만약 컴퓨팅이 경제가 생산하는 부가가치의 대부분을 차지하게 된다면, 전체 경제 성장률은 결국 그 현실적인 확산의 한계에 의해 제한될 수밖에 없을 것입니다.

드와르케시 파텔 : 최전선 연구소들이 돈을 벌고 있는 세상은, 근본적으로 그들이 계속해서 '빠른 발전'을 이루어내는 세상입니다.

원문 흐름 47

왜냐하면 당신들의 마진은 '대체제가 얼마나 좋은가'에 의해 결정되기 때문입니다. 즉, 당신들이 돈을 벌 수 있는 이유는 오직 '최첨단 모델'을 보유하고 있기 때문이죠. 만약 최첨단 모델을 갖지 못한다면, 당신들은 돈을 벌지 못할 겁니다. 따라서 이 비즈니스 모델은 영원히, 끊임없이, 더 많은 발전을 계속해서 이뤄내야만 한다는 뜻이죠.

다리오 아모데이 Dario Amodei : 저는 그렇게 생각하지 않습니다. 정말로요. 음, 마치 우리가 지금 경제학 수업을 듣고 있는 것 같은 기분이 드네요. 우리가 경제학 이야기를 멈추지 않고 있으니까요. 하지만 제 생각에 이 분야가 독점 체제가 되지는 않을 겁니다.

하나가 아닌 소수의 플레이어만 존재하는 산업들이 분명히 있습니다. 보통 메타 같은 독점 기업이 생기는 이유는 네트워크 효과 때문이지만, 소수의 플레이어만 남게 되는 산업은 '매우 높은 진입 장벽(high costs of entry)' 때문에 형성됩니다. 클라우드 산업이 아주 좋은 예시죠. 클라우드 시장에는 3개, 혹은 4개 정도의 주요 플레이어가 있습니다. AI도 마찬가지일 거라고 봅니다. 3개에서 4개 정도 말이죠.

그 이유는 비용이 너무나 막대하기 때문입니다. 클라우드 기업을 운영하려면 엄청난 전문 지식과 자본이 필요합니다. 그 자본을 다 쏟아붓는 것 외에도, 그걸 실제로 구현해내기 위한 고도의 기술적 숙련도가 요구되죠. 누군가에게 가서 '내가 이 산업을 뒤엎을 건데 $100B만 투자해 줘'라고 한다면, 투자자는 '그래, 내가 $100B를 태우고 네가 기존 기업들이 해온 일들을 다 해낼 수 있다는 데 내기를 걸겠지만, 그 결과로 이 산업의 이익률은 떨어지겠지'라고 생각할 겁니다.

원문 흐름 48

당신이 진입함으로써 시장의 이익 마진이 줄어드는 효과가 발생할 테니까요.

우리 경제에는 이런 식의 균형이 항상 존재합니다. 몇 개의 플레이어가 있고, 이익이나 마진이 천문학적인 수준은 아니더라도 결코 0%는 아닌 상태 말이죠. 클라우드 서비스는 사실 기능적으로 거의 차이가 없지만, AI 모델은 클라우드보다 훨씬 더 차별화되어 있습니다. 사람들은 클로드가 클로드라는 걸 다 압니다. 클로드가 잘하는 것, GPT가 잘하는 것, 제미나이가 잘하는 것이 다 다르죠. 단순히 '클로드는 코딩, GPT는 수학' 같은 수준이 아니라 그보다 훨씬 미묘합니다. 모델마다 코딩하는 스타일이 다르고 풍기는 결이 다릅니다. 그래서 저는 AI 모델들이 클라우드보다 훨씬 더 큰 차별화를 보여줄 것이라 기대합니다.

물론 이에 대한 한 가지 반론은 있을 수 있습니다. 만약 AI 모델을 생산하는 그 모든 과정 자체를 AI가 직접 수행하게 된다면, 그 기술이 경제 전반으로 퍼져나갈 수도 있겠죠. 하지만 그것은 단순히 AI 모델이 범용화된다는 논리가 아니라, 경제 전체가 한꺼번에 범용화된다는 논리에 가깝습니다. 모든 사람이 무엇이든 할 수 있고, 무엇이든 만들 수 있으며, 그 어떤 것에도 '해자'가 없는 세상에서 정확히 어떤 일이 벌어질지는 저도 모릅니다. 어쩌면 우리가 그런 세상을 원할지도 모르죠. 어쩌면 그게 인류의 최종 상태(end state)일 수도 있고요. AI가 모든 것을 할 수 있게 되고, 우리가 모든 안전과 보안 문제를 해결했다면, 그것이 경제가 다시 한번 평평해지는 메커니즘 중 하나가 될 수도 있을 겁니다. 하지만 그건 데이터센터 안의 천재 국가가 탄생하고도 한참 뒤의, 아주 먼 미래의 이야기입니다.

원문 흐름 49

코딩 분야의 발전 속도가 빠르다는 점에는 동의하지만, AI 연구는 코딩의 상위 집합(superset)이며 아직 그 속도를 따라가지 못하는 측면들도 분명히 존재한다고 봅니다. 하지만 다시 한번 강조하고 싶은 점은, 일단 코딩이 자동화되고 AI 모델이 스스로를 개선하는 속도가 붙기 시작하면, 그 능력이 다른 모든 영역으로 전파되는 속도 또한 빨라질 것이라는 사실입니다. 코딩이 지금 당장 앞서나가고 있다면, AI 모델이 다음 세대 모델을 직접 구축하고 그 외의 모든 것을 설계하기 시작하는 순간, 결국 경제 전체가 동일한 가속도를 내게 될 것입니다.

그런데 저는 한 가지 지리적인 불균형이 우려됩니다. AI 기술에 대한 접근성이나 그 소식을 얼마나 가까이에서 접하느냐는 접근성 자체가 하나의 결정적인 격차(differentiator)가 될까봐 걱정입니다. 제가 앞서 경제 성장률 10~20%를 언급했지만, 실제로는 실리콘밸리와 그 사회적 네트워크로 연결된 지역들은 50%의 폭발적인 성장을 구가하는 반면, 그 외의 지역은 지금과 별반 다르지 않은 속도에 머물게 될지도 모릅니다. 저는 그런 세상이 온다면 정말 엉망인 상황이 될 거라고 생각합니다. 그래서 요즘 제가 가장 깊이 고민하는 것 중 하나는, 어떻게 하면 그런 극심한 불균형을 막을 수 있을까 하는 점입니다.

드와르케시 파텔 : 데이터센터 안에 수천 명의 천재들이 모여 있는 것과 같은 강력한 AI를 보유하게 된다면 그 직후에 로보틱스 문제도 빠르게 해결될 것이라고 보시나요? 현재 로보틱스의 큰 걸림돌 중 하나는 사람은 기존 하드웨어를 원격으로 조종하는 법을 쉽게 배우지만 현재의 AI 모델은 적어도 생산적인 수준으로는 그렇게 하지 못한다는 점인 것 같습니다.

원문 흐름 50

만약 우리가 인간과 같은 방식으로 학습할 수 있는 능력을 갖추게 된다면 로보틱스 문제 역시 즉시 해결되지 않을까 싶습니다.

다리오 아모데이 Dario Amodei : 인간과 같은 학습 방식에 반드시 의존해야 한다고 생각하지는 않으며 여러 가지 다른 방식으로도 충분히 가능합니다. 예를 들어 로봇 제어와 유사한 다양한 비디오 게임이나 수많은 로봇 시뮬레이션 환경에서 모델을 학습시킬 수도 있고, 혹은 컴퓨터 화면을 제어하도록 훈련시켜 일반화 능력을 얻게 할 수도 있습니다. 따라서 로보틱스의 발전은 결국 일어날 일입니다.

꼭 인간과 똑같은 학습 방식이 필요한 것은 아닙니다. 인간 같은 학습은 하나의 경로일 뿐입니다. 모델이 로봇을 처음 접했을 때 사용하는 법을 모른다 해도 직접 배우는 과정은 우리가 지속적 학습 기술을 발전시킴으로써 가능해질 수 있습니다. 또는 수많은 환경에서 모델을 훈련해 일반화시키거나, 모델이 주어진 컨텍스트 내에서 정보를 처리하며 배울 수도 있습니다. 사실 어떤 방식인지는 중요하지 않습니다. 우리가 앞서 대화했던 것처럼 이러한 일은 여러 경로를 통해 발생할 수 있습니다.

하지만 어떤 이유로든 모델이 그런 기술을 갖추게 된다면 로보틱스 분야에는 혁명이 일어날 것이라고 확신합니다. 모델은 로봇 설계 면에서 인간보다 훨씬 뛰어날 것이고 제어 능력 또한 탁월할 것이기 때문입니다. 결과적으로 물리적인 로봇 하드웨어를 제작하는 기술과 이를 정교하게 제어하는 능력 모두가 비약적으로 발전할 것입니다.

그렇다면 로보틱스 산업이 수조 달러의 수익을 창출하게 될까요? 제 대답은 그렇다입니다. 다만 매우 빠르면서도 동시에 무한히 빠르지는 않은 확산 속도를 보일 것입니다.

원문 흐름 51

로보틱스가 완전히 혁신되는 시점은 아마도 다른 분야보다 1, 2년 정도 더 걸릴 것이라고 생각합니다. 이것이 제가 이 문제를 바라보는 방식입니다.

드와르케시 파텔 : 극도로 빠른 진전에 대해서는 일반적인 회의론이 존재합니다. 제 생각은 이렇습니다. 아마 당신은 몇 년 안에 어떤 방식으로든 지속적 학습 문제를 해결하게 될 것입니다. 하지만 불과 몇 년 전만 해도 아무도 지속적 학습에 대해 이야기하지 않았습니다. 그러다 모델들이 튜링 테스트를 통과하고 수많은 분야에서 전문가 수준의 능력을 보여줌에도 불구하고, 왜 지금 당장 기대만큼 유용하지 않은지 고민하면서 그 원인을 깨닫게 된 것이죠. 아마도 문제는 이것일 테니 이걸 해결하자고 말입니다.

그런데 이 문제를 해결하고 나면, 앞으로도 이런 일이 계속 생길 것이라고 생각하지 않을 이유가 있을까요. 우리가 이미 인간 지능의 구성 요소들을 모두 찾아냈다고 확신하는 이유가 무엇인지 궁금합니다.

다리오 아모데이 Dario Amodei : 사실 분명히 말씀드리면, 제가 전에도 언급했듯이 지속적 학습은 전혀 장벽이 아닐 수도 있습니다. 사전훈련의 일반화와 강화 학습의 일반화 과정을 통해 자연스럽게 그 단계에 도달할 수 있다고 보기 때문입니다. 기본적으로는 그런 문제 자체가 존재하지 않을 수도 있다는 생각입니다.

실제로 머신러닝의 역사를 되짚어보면, 사람들이 결정적인 장벽이라고 주장했던 것들이 거대한 컴퓨팅 연산 능력 안에서 결국 자연스럽게 해소되었던 사례가 많습니다. 과거에는 모델이 명사와 동사를 어떻게 구분하는지, 혹은 문법적으로는 그럴듯해도 의미론적으로는 이해하지 못한다거나 단순히 통계적 상관관계에 불과하다는 비판이 있었습니다.

원문 흐름 52

문단은 파악해도 단어의 본질은 모른다거나 추론은 절대 불가능하다는 의견도 있었죠. 하지만 결과적으로 모델은 코딩과 수학을 매우 훌륭하게 해내기 시작했습니다.

이처럼 큰 문제처럼 보였던 것들이 결국 해결되어 사라졌던 역사가 훨씬 더 빈번했습니다. 물론 데이터의 필요성처럼 실재하는 제약도 있고, 지속적 학습 역시 실제적인 과제일 수는 있습니다. 하지만 코딩의 사례를 다시 떠올려보세요. 저는 1~2년 안에 모델이 특정 과업을 처음부터 끝까지 스스로 완수하는 단계에 이를 것이라고 봅니다. 그것은 인간 활동의 한 영역 전체를 모델이 온전히 수행할 수 있게 됨을 의미합니다.

드와르케시 파텔 : 제가 비전문가인데, 현장의 가장 전문가에게 이런 얘기를 드리고 있는 상황이 참재밌네요.

다리오 아모데이 Dario Amodei : 우리 모두가 이 문제를 함께 파악하려고 노력하고 있습니다. 물론 요즘 제가 다른 사람들이 보지 못하는 것들을 일부 볼 수 있는 면도 있긴 합니다. 하지만 그것은 제가 남들이 갖지 못한 대단한 연구적 통찰력을 가졌기 때문이라기보다는, 앤스로픽 내부의 수많은 상황을 지켜보고 수많은 결정을 내려야 하는 위치에 있기 때문일 가능성이 큽니다. 저는 현재 2,500명 규모의 회사를 경영하고 있습니다. 그래서 실제로 10년 전이나 심지어 2~3년 전과 비교했을 때, 지금 제가 구체적인 연구적 통찰력을 유지하는 것은 사실 훨씬 더 어려운 일이 되었습니다.

드와르케시 파텔 : 원격 근무자를 완전히 대체할 수 있는 세상으로 나아가게 된다면, 기존의 API 가격 모델이 여전히 가장 합리적이라고 보시나요? 만약 그렇지 않다면, AGI의 가격을 책정하거나 서비스를 제공하는 가장 적절한 방식은 무엇이라고 생각하시는지 궁금합니다.

원문 흐름 53

다리오 아모데이 Dario Amodei : 제 생각에는 여기서 다양한 비즈니스 모델이 한꺼번에 등장하여 실험적인 과정을 거치게 될 것 같습니다. 사실 저는 API 모델이 많은 사람의 생각보다 더 오래 지속될 것이라고 봅니다. 기술이 기하급수적으로 발전한다는 것은 지난 3개월 동안 개발된 새로운 활용 사례의 영역이 항상 존재한다는 의미입니다. 어떤 제품의 외형을 고정해두면 모델의 능력이 발전함에 따라 그 제품 형태 자체가 무의미해질 위험이 있습니다.

예를 들어 챗봇은 이미 모델을 더 똑똑하게 만든다고 해서 일반 소비자에게 그만큼 큰 도움이 되지 않는 한계에 직면하고 있습니다. 하지만 이것이 AI 모델의 한계이거나 모델이 더 좋아지는 것이 경제에 중요하지 않다는 증거는 아닙니다. 단지 그 특정 제품에 국한된 이야기일 뿐입니다. API의 진정한 가치는 하드웨어에 가장 가까운 지점에서 최신 기술을 바탕으로 새로운 것을 구축할 기회를 항상 제공한다는 점에 있습니다. 몇 달 전에는 불가능했던 새로운 아이디어와 스타트업들이 모델의 발전에 따라 계속해서 나타날 것입니다. 수천 명의 사람들이 모델로 다양한 실험을 하고 그중 일부가 성공적인 스타트업이 되며, 결국 특정 세대의 모델을 사용하는 핵심적인 방식이 그 과정에서 정립될 것입니다. 그래서 저는 API 비즈니스 모델이 항상 존재할 것이라고 생각합니다.

동시에 다른 모델들도 등장할 것이 분명합니다. 모델이 출력하는 모든 토큰의 가치가 같지는 않기 때문입니다. 누군가 맥북이 작동하지 않는다고 물었을 때 모델이 재부팅하라고 답하는 토큰의 가치는 불과 몇 센트에 그칠 것입니다. 모델은 이미 그런 답변을 수천만 번이나 내놓았을 것이기 때문입니다.

원문 흐름 54

반면 제약 회사에서 개발 중인 분자의 특정 구조를 변경하라고 조언하여 혁신적인 결과를 끌어낸다면 그 토큰의 가치는 수천만 달러에 달할 수도 있습니다. 따라서 우리는 결국 성과에 기반해 비용을 지불하거나 시간당 노동력을 구매하는 방식처럼 인간의 노동과 유사한 형태의 보상 체계를 보게 될 것입니다. 이제 막 시작된 산업이기에 많은 시도가 따르겠지만 무엇이 최종적인 정답이 될지는 아직 알 수 없습니다.

드와르케시 파텔 : 이 거대한 지능의 집합체를 활용하는 최선의 방법을 찾기 위해 사람들이 여러 시도를 해봐야 한다는 말씀은 일리가 있다고 생각합니다. 하지만 제게 특히 인상적이었던 것은 Claude Code였습니다. 스타트업의 역사에서 코딩 에이전트만큼 경쟁이 치열했던 애플리케이션 분야는 없었다고 보는데, 클로드 코드가 이 분야에서 선두를 달리고 있다는 사실이 제게는 꽤 놀랍게 다가옵니다. 본질적으로 앤스로픽이 반드시 이 도구를 직접 만들어야 했던 것은 아니라고 보는데, 왜 앤스로픽이 모델 개발을 넘어 이러한 애플리케이션까지 직접 구축하게 되었는지 그 배경이나 이유가 궁금합니다.

다리오 아모데이 Dario Amodei : 사실 이 과정은 상당히 단순하게 진행되었습니다. 우리에게는 이미 코딩에 뛰어난 능력을 갖춘 모델들이 있었고, 2025년 초쯤 저는 이제 AI 기업으로서 이러한 모델들을 활용해 자체 연구를 유의미하게 가속화할 시기가 왔다고 판단했습니다. 물론 모델을 제대로 활용하기 위해서는 이를 구동할 인터페이스와 환경이 필요했습니다. 그래서 직원들에게 특정 도구를 강요하기보다는 자유롭게 실험해 보라고 권장했습니다. 처음에는 Claude CLI라고 불렸던 것 같은데 나중에 내부적으로 Claude Code로 이름이 바뀌었고, 모든 직원이 이를 활발히 사용하면서 내부 채택 속도가 매우 빨랐습니다.

원문 흐름 55

저는 그 모습을 보며 코딩이 우리 업무의 핵심적인 부분을 차지하고 있는 만큼 수백 명의 우리 직원들이 외부 사용자층을 충분히 대변할 수 있다고 생각했습니다. 이미 제품 시장 적합성(product-market-fit)을 확인한 것이나 다름없으니 외부에도 정식으로 출시하자고 결정했습니다. 결국 우리가 직접 모델을 개발하면서 그 모델을 사용할 때 우리에게 가장 필요한 것이 무엇인지 정확히 알고 있다는 점이 강력한 피드백 루프를 만들어낸 결과라고 생각합니다.

드와르케시 파텔 : 예를 들어 앤스로픽의 개발자가 어떤 특정 기능이 더 개선되면 좋겠다고 생각하면, 그 의견을 다음에 구축할 모델에 직접 반영하게 된다는 그런 의미로 이해하면 될까요.

다리오 아모데이 Dario Amodei : 그것도 한 가지 측면이라고 볼 수 있습니다. 하지만 그와 동시에 일반적인 제품 반복 개선 과정도 존재합니다. 앤스로픽 내부에는 수많은 개발자가 있고 그들이 매일 클로드 코드를 사용하기 때문에 우리는 매우 신속한 피드백을 얻을 수 있습니다. 초기에는 이런 내부적인 소통이 특히 중요했습니다. 물론 지금은 수백만 명의 사람들이 이 도구를 사용하고 있으므로 외부에서도 방대한 피드백을 받고 있습니다.

하지만 여전히 내부에서 즉각적인 반응을 확인할 수 있다는 점은 대단히 유용합니다. 이것이 바로 우리가 제약 회사가 아닌 코딩 모델을 먼저 출시한 이유이기도 합니다. 제 전공이 생물학이긴 하지만 우리에게는 제약 회사를 세우는 데 필요한 제반 자원이 전혀 없기 때문입니다.

'지금'을 생각하다

누군가 이 시대를 회상한다면...

드와르케시 파텔 : 언젠가 누군가 이 시대를 배경으로 원자폭탄 제조 과정에 비견될 만한 기록물을 쓰게 된다면, 역사적 기록만으로는 파악하기 가장 어려워서 그들이 놓치기 가장 쉬운 부분은 무엇일까요?

원문 흐름 56

다리오 아모데이 Dario Amodei : 몇 가지가 떠오릅니다. 하나는 이 기하급수적인 변화의 매 순간마다 외부 세계가 이를 얼마나 이해하지 못했는가 하는 점입니다. 이는 역사에서 흔히 나타나는 편향인데, 실제로 일어난 일은 사후에 돌이켜보면 필연적인 것처럼 보이기 마련입니다. 그래서 나중에 사람들이 되돌아볼 때, 당시에는 결코 필연적이지 않았던 일에 도박을 하듯 베팅했던 사람들의 입장에 자신을 대입해 보기는 매우 어려울 것입니다.

스케일링 법칙이 유효할 것이라거나 지속적 학습 문제가 결국 해결될 것이라는 저의 주장들처럼, 우리 내부의 몇몇은 머릿속으로 이것이 일어날 확률을 아주 높게 보고 있었지만 우리 밖의 세상은 그에 대해 전혀 반응하지 않고 있었던 상황 말이죠. 그 상황이 얼마나 기이하고 고립되어 있었는지가 기록에 남기 힘들 것입니다. 우리가 역사적 전환점을 불과 1, 2년 앞두고 있더라도 거리의 평범한 사람들은 아무것도 알지 못합니다. 제가 공개 메모를 쓰고 정책 입안자들과 대화하며 바꾸려 노력하는 부분도 바로 이것이지만, 정말 말도 안 되는 상황인 것은 분명합니다.

마지막으로, 이는 거의 모든 역사적 위기의 순간에도 적용되겠지만, 모든 일이 얼마나 압도적으로 빠르게 그리고 동시에 벌어지고 있었는가 하는 점입니다. 훗날 사람들은 우리가 정교하게 계산해서 내린 결정이라고 생각하겠지만, 실제로는 그날 하루만 해도 30가지의 다른 결정들을 한꺼번에 처리해야 할 만큼 모든 것이 긴박하게 돌아갑니다. 심지어 어떤 결정이 나중에 중대한 결과를 초래할지조차 모르는 상태에서 말입니다.

원문 흐름 57

제가 걱정하는 것 중 하나는, 훗날 매우 비판적으로 평가받을 어떤 결정이 사실은 누군가 제 사무실에 급히 들어와 "다리오, 딱 2분만 시간 내주세요"라며 건넨 반 페이지짜리 메모에서 시작되었을 수도 있다는 점입니다. "이 안건을 A로 할까요, B로 할까요"라는 질문에 "제가 지금 점심 먹으러 가야 해서 잘 모르겠으니 일단 B로 합시다"라고 답한 것이 결국 세상에서 가장 중대한 결과를 낳은 결정이 되어버릴 수도 있는 것이죠.

드와르케시 파텔 : 마지막 질문입니다. 보통 몇 달마다 50페이지 분량의 에세이를 쓰는 기술 기업 CEO는 흔치 않은 것 같습니다. 당신은 자신만의 역할과 회사를 이런 지적인 유형의 CEO 역할에 걸맞게 잘 구축해온 것으로 보입니다. 그런 구조를 어떻게 만드셨는지, 그리고 실제로 몇 주 동안 자리를 비웠다가 돌아와서 회사에 이것이 우리의 지침이니 이렇게 행동하자고 메모를 던지는 과정이 어떻게 가능한지 궁금합니다. 당신이 내부적으로도 이런 식의 메모를 아주 많이 작성한다는 이야기도 들었습니다.

다리오 아모데이 Dario Amodei : 이번 메모의 경우 지난 겨울 휴가 기간을 이용해 작성했습니다. 사실 평소에는 글을 쓸 시간을 내기가 정말 어려웠거든요. 하지만 저는 이 일을 단순히 글쓰기가 아니라 더 넓은 관점에서 바라보고 있습니다. 이것은 회사의 문화와 직결되는 문제라고 생각하며, 저는 실제로 제 업무 시간의 30%~40% 정도를 앤스로픽의 조직 문화를 건강하게 유지하는 데 쏟고 있습니다. 회사가 2,500명 규모로 커지면서 모델 훈련이나 제품 출시, 개발 같은 세부 사항에 예전처럼 일일이 직접 관여하기는 힘들어졌습니다.

원문 흐름 58

저만의 직관이 작용하는 부분은 있겠지만 모든 디테일을 다 챙기는 것은 불가능에 가깝죠.

그래서 제가 가진 가장 큰 영향력은 앤스로픽을 일하기 좋은 곳으로 만들고, 구성원들이 서로 경쟁하며 깎아내리기보다 하나의 팀으로서 협력하게 만드는 데서 나옵니다. 다른 AI 기업들이 성장 과정에서 내부 결속이 무너지고 서로 다투는 모습을 보기도 했지만, 우리는 완벽하지는 않아도 회사를 하나로 묶고 모두가 진심으로 사명감을 공유하도록 만드는 데 훌륭한 성과를 거두었다고 자부합니다.

우리는 모두가 올바른 목적을 위해 일하고 있으며, 서로를 배신하지 않는 팀이라는 믿음을 구축해 왔습니다. 이를 위해 저와 운영을 맡고 있는 다니엘라, 그리고 공동 창업자들은 우리가 무엇을 위해 존재하는지, 우리의 전략과 가치가 무엇인지 끊임없이 설명합니다. 인원이 2,500명에 달하면 한 사람씩 붙잡고 이야기할 수 없기에 저는 2주마다 전 직원 앞에서 한 시간 동안 직접 소통하는 시간을 갖습니다.

내부적으로 제가 작성하는 "다리오 비전 퀘스트(Dario Vision Quest)"라는 문서가 있는데, 제가 지은 이름은 아니지만 결국 그렇게 굳어져 버렸습니다. 2주마다 3~4페이지 분량의 문서를 준비해 내부 모델, 제품, 업계 동향, 그리고 AI와 관련된 지정학적 상황 등에 대해 매우 솔직하게 이야기합니다. 6단계나 되는 직급 체계를 거치지 않고 대표가 직접 직원들과 연결되는 것은 엄청난 가치가 있으며, 대다수의 직원이 온오프라인으로 이 시간에 참여합니다.

또한 슬랙 채널을 통해 사람들의 질문이나 내부 설문 조사에서 나온 우려 사항에 대해 제 생각을 가감 없이 공유하곤 합니다.

원문 흐름 59

제 목표는 직원들에게 언제나 진실을 말하고, 문제를 있는 그대로 부르며, 흔히 말하는 기업식 방어적 화법을 피하는 사람이라는 신뢰를 얻는 것입니다. 외부에서는 메시지가 곡해될 위험 때문에 조심스러울 수밖에 없지만, 우리가 믿고 채용한 동료들 앞에서는 필터링 없는 정직한 대화가 가능합니다. 이러한 문화는 회사를 더 나은 일터로 만들 뿐만 아니라 모두가 같은 목표를 바라보며 사명을 완수할 가능성을 높여주는 앤스로픽의 거대한 강점입니다.

SemiAnalysis 인터뷰

2026-03-05

AI 사이클 한 눈에 보기, SemiAnalysis 인터뷰 : "거품은 없다. ARR $100B가 온다" (바로가기)

2025-09-26

AI 사이클 한 눈에 보기, SemiAnalysis 인터뷰 : 승부사 젠슨황 그리고 화웨이의 역습 (바로가기)

엔비디아 (NVDA)

2026-03-17

엔비디아 GTC 2026 : 7개의 칩, 5개의 랙 시스템, 그리고 하나의 AI 슈퍼컴퓨터 (바로가기)

2026-02-26

엔비디아 4Q25 실적발표 : 담백한 실적발표, 핵심은 모두 그린라이트 (바로가기)

2026-01-02

엔비디아가 $20B를 주고 데려온 남자 : Groq 창업자 조나단 로스의 통찰 (바로가기)

광학 (Optics)

2026-03-20

OFC 2026 : 광학이 중요해지고 있는 이유들, 태풍의 눈에 있는 두 가지 기업 분석 (바로가기)

원문 흐름 60

2026-03-13

AI 인프라의 새로운 병목 '광학' : 앞으로의 2~3년 가파른 채택곡선 (트랜시버, OCS, CPO) (바로가기)

2026-03-06

비아비 솔루션스(VIAV) 기업분석 : 광학의 시대, 더 많은 테스트가 필요해 (바로가기)

메모리 (Memory)

2026-03-19

마이크론 1Q26 실적발표 : 흔들릴 이유가 없는 어닝서프라이즈, 구조적 성장주로 거듭나기 (바로가기)

2025-01-21

추론의 시대, 핵심이 된 메모리 : 메모리 쇼티지를 떠받치고 있는 힘 (바로가기)

2026-01-07

엔비디아 CES 2026 : Vera Rubin의 시대, ICMS가 불러올 메모리 지각변동 (바로가기)

네오클라우드 (Neocloud)

2026-02-22

네오클라우드 뜯어보기 #2 : 새로운 시대의 AI 계급도, 전력을 돈으로 바꾼 Powered Shell (바로가기)

2026-02-10

네오클라우드 뜯어보기 : GPU 임대의 경제학, 네오클라우드 BIG 4 비교분석 (바로가기)

큰 흐름 읽기 (Bird's-eye view)

2025-12-17

AI 버블론을 잠재우는 숫자들 : 엔터프라이즈 AI $37B 시장의 현주소 (바로가기)

2025-10-08

오픈AI 퇴사자의 글 #1 : 2027년 AGI가 온다 (바로가기)

그럼에도 빠진내용 정리

잡담·곁다리 내용

별도 참고사항이 없습니다.

생략 기록

원문에 반복 수록된 채널 추천 링크와 계약 고지는 flow에서 보존하되 이슈·지식 분석 단위로 만들지 않았다.

그럼에도 빠진내용 정리

편집 범위	원문은 2026년 2월 14일 팟캐스트 2시간 22분 19초 중 지정학과 AI 헌법을 제외하고 AI 산업 이해에 필요하다고 판단한 부분을 옮겼다.
반복 링크·고지	앞뒤에 반복된 채널 내 다른 글 링크와 투자자문계약 권유문서는 보존 원문 흐름에 남겼으며, 인터뷰의 사실·판단으로 분석하지 않았다.
불확실성	1~3년·10년 전망, 수조 달러 매출, 지속 학습의 해결 여부와 최종 가격 모델은 인터뷰 참여자의 전망·가설이며 확정 사실로 바꾸지 않았다.

원문 확인

document_work_runner prepare가 입력 원문을 수정 없이 보존했다.

원문 다운로드 새 창에서 보기