[속보효] AI 개발을 멈춰야 한다는 주장, AI주식이 급락할 것이라는 FUD 실체 분석

그 경우 수천억 달러 규모의 피해가 발생할 수 있습니다. 적절한 안전장치 없이 AI가 계속 강력해진다면 피해 규모는 그 이후에도 계속 커질 것입니다. ​ AI 최전선의 속도를 조절하는 3단계 계획 그래서 저는 ‘최전선의 속도 조절(pacing the frontier)’을 위한 3단계 계획을 제안 목표는 AI의 혜택을 계속 실현하면서도 안전을 확보하고, 동시에 중요한 지정학적 문제까지 고려할 수 있도록 균형 잡힌 속도로 AI를 개발하는 것입니다. 여기서 ‘속도 조절’은 모델 훈련이나 기술 발전을 중단하자는 의미(x) 기업들이 모델의 정렬과 안전 확보에 충분한 시간을 투자하고, 제3자 평가기관이 이를 확인하도록 하자는 것 이 프레임워크는 Anthropic이 지금까지 유지해 온 안전에 대한 약속을 더욱 강화하고,

AI 산업에서 ‘정상을 향한 경쟁’을 만들기 위한 것 ​ 첫 번째 단계는 Anthropic이 독자적으로 시행하기로 결정했으며, 다른 최전선 AI 기업들도 정부의 요구를 통해 동일하게 시행해야 한다고 생각합니다. 두 번째 단계는 산업 전체의 조정이 필요합니다. 세 번째 단계는 글로벌 차원의 조정이 필요합니다. ​ 세 단계가 반드시 순서대로 진행될 필요는 없습니다. 일부 단계는 다른 단계보다 훨씬 어려울 수도 있습니다. 그러나 무엇을 해야 하는지 생각하는 데 이 세 단계가 유용한 틀이라고 생각합니다. ​ ​ <해결책> 1. 상주형 외부 평가자(Embedded Evaluators) 각 최전선 AI 기업은 제3자 평가팀에게 직원과 유사한 수준의 지속적인 접근 권한을 제공해야 합니다. METR 같은 외부 평가기관이 그 역할을 수행할 수 있습니다.

이들의 역할은 다음과 같습니다. 기업이 안전 관행과 약속을 실제로 지키고 있는지 확인 사고 발생 시 이를 보고 완성된 AI 모델뿐 아니라 훈련 파이프라인과 개발 과정의 정렬 상태까지 평가 이것이 속도 조절 정책을 검증 가능하게 만드는 핵심 요소입니다. 은행 산업에서 규제기관의 감독관들이 기업 내부에 상주하며 감독하는 것과 유사한 전례가 있습니다. Anthropic은 지금부터 이 조치를 독자적으로 시행 ​ 2. 민주주의 국가 내 조정(Democratic Coordination) 민주주의 국가의 최전선 AI 기업들이 협력해 공통 안전기준을 만들고, 통제되지 않은 AI 발전 속도에 일정한 제한을 설정해야 합니다. 다만 이러한 형태의 협력은 법적으로 어려운 부분이 있으므로 정부의 지원이 필요합니다. ​

​ 민주주의 국가가 너무 많이 늦출 수 없는 이유 민주주의 국가 내부에서 AI 발전 속도를 늦추는 데에는 중요한 한계가 존재합니다. 바로 미국 AI 기업들이 권위주의 국가, 특히 중국공산당과 연계된 프로젝트에 대해 얼마나 앞서 있는가 미국이 현재 보유한 기술 격차보다 더 많이 AI 개발 속도를 늦추면 중국이 미국을 추월할 수 있습니다. 그것은 심각한 국가안보 위험을 초래합니다. 중국이 AI에서 미국을 앞서는 것은 미국뿐 아니라 전 세계에 심각한 위험이라고 저는 생각합니다. 중국공산당과 연계된 프로젝트들은 미국 기업들이 예방하려는 정렬 위험을 그대로 감수할 가능성이 있습니다. 설령 정렬 문제가 발생하지 않더라도 중국은 AI 기반 드론 같은 기술을 이용해 민주주의 국가들에 대해 군사적 우위를 확보할 수 있습니다.

따라서 민주주의 국가가 AI의 속도를 조절하기 위해서는 역설적으로 권위주의 국가에 대한 기술적 우위를 가능한 크게 유지해야 합니다. 그래야 안전을 위해 속도를 늦출 수 있는 여유가 생깁니다. ​ 미국이 중국과의 AI 격차를 유지하는 방법 (1) 중국에 강력한 AI 칩과 반도체 제조장비를 판매하지 말아야 한다 칩 밀수와 중국 밖 데이터센터에 대한 원격접근도 강하게 단속해야 합니다. 칩이 중국 AI 능력을 결정하는 가장 중요한 요소가 될 것입니다. (2) 무단 지식증류(distillation)를 차단해야 한다 권위주의 국가의 기업들이 최전선 AI 모델을 무단으로 증류하는 것을 막아야 합니다. 최전선 모델의 지식증류를 이용하면 후발 기업이 자체 AI를 개발할 때 필요한 비용의 일부만으로 기술 격차를 크게 줄일 수 있습니다.

(3) AI 기업의 보안을 강화해야 한다 모델 가중치(model weights)가 도난당하지 않도록 해야 합니다. AI 기업과 미국 정부는 이러한 정책이 최대한 효과적으로 작동하도록 협력해야 합니다. Anthropic은 오래전부터 이런 정책들을 일관되게 지지해왔습니다. 이 정책들이야말로 AI의 속도를 조절할 수 있게 만드는 전제조건이라고 봤기 때문입니다. 이 조치들을 제대로 시행한다면 향후 3~5년 동안 중국의 AI 발전을 충분히 늦추고 미국의 기술 우위를 상당히 확대할 수 있다고 생각합니다. 바로 이 3~5년은 AI가 지정학적으로 가장 중요해지는 시기입니다. ​ ​ ​ 그리고... ​ 버니샌더스 등판 ​ 위험한 목적지라면, 천천히 가는 것으로 충분한가? ​ 샌더스는 절벽을 향해 달리는 자동차에 비유합니다.

가속페달에서 발을 조금 떼는 것만으로는 부족하고, 브레이크를 밟아야 한다는 겁니다. 그의 주장을 질문으로 바꾸면 이렇습니다. ​ ​ 테드 리우 “그런데 필요하면 정말 끌 수 있습니까?” 중국이 있는데... ​ 그리고 현실적인 비판들 ​ David Sacks ​ 다리오(Dario)는 우리가 “프런티어의 속도를 조절해야 한다(pace the frontier)”고 썼고, 샘(Sam)도 이에 동의했다. ​ 내 반응에 사람들이 놀랄 수도 있겠지만, 이렇게 말하고 싶다 ​ 그렇게 해라. ​ 당신들이 바로 프런티어다. 시장 점유율, 매출 성장률, 모델 성능 등 어떤 합리적인 기준으로 보더라도, 당신들 두 회사는 프런티어 인텔리전스(frontier intelligence)를 사실상 양분하고 있다.

그리고 프런티어에 있지도 않은 경쟁사들을 감시하기 위해 바로 그 평가기관들이 필요하다고 주장하는 것도 그만둬라. 무엇보다도, 속도를 늦추려는 동기가 순전히 이타적인 것처럼 가장하지 마라. ​ 당신들의 제품이 정말로 막대한 피해를 일으키는 사이버 공격을 가능하게 한다면, 당신들은 엄청난 제조물 책임 위험에 노출된다. 시장은 이미 예측할 수 없거나 승인되지 않은 방식으로 행동하는 모델들을 벌주고 있다. 허깅페이스(Hugging Face) 사건 이후를 보면, OpenAI와 Anthropic이 일부 원초적인 성능을 포기하는 대신 신뢰성과 예측 가능성을 높이는 것은 그저 좋은 사업 판단이다. 원한다면 그것을 얼라인먼트(alignment)라고 불러도 좋다. 하지만 그것은 동시에 고객들이 원하는 것을 제공하는 것일 뿐이다.

​ 프런티어의 속도를 조절하는 것은 버니 샌더스(Bernie Sanders)의 “전부 다 중단하라(shut it all down)” 식 접근보다 훨씬 더 지적인 규제 논의를 할 수 있는 여유도 만들어줄 것이다. ​ 당신들도 알다시피 중국이 글로벌 합의에 참여할 가능성은 매우 낮으며, 이 점 역시 반드시 고려해야 한다. ​ 그러니 그냥 프런티어의 속도를 조절해라. 그 속도를 정하고 있는 것은 바로 당신들이다. 초지능(superintelligence)을 만들지 않는 가장 쉬운 방법은 당신들이 서로 그것을 만들지 않기로 합의하는 것이다. ​ 그리고 그 대가로 당신들이 선호하는 규제 체계를 요구한다면, 그것은 대중과 정치 시스템을 상대로 한 협박처럼 보일 것이다.