26-8 오픈AI·허깅페이스 에이전트 사고 세부 공개

최근 포티넷을 좋게 보고 있는 맥락에 대해서는 8월 24일 주간전략보고, 8월 4일 주간전략보고에서 전해드린 바 있습니다. ​ (5) 오픈AI-Hugging Face 사고 세부 내용이 공개됐습니다: 핵심은 AI 에이전트들의 통제를 상실할 가능성입니다. 서로 격리되어 있어야할 1,200개의 에이전트가 7만 건 이상 서로 메시지와 파일을 교환했고, 이중 700개가 허깅페이스 공격에 가담했습니다. 취약점 탐색, 인증정보 수집, 공격 조율 등을 자율적으로 분업하면서 스스로를 'swarm' or 'collective'로 지칭했습니다.

이게 ExploitGym 문제 898개 중에서 기존에 어떤 모델도 풀지 못했던 문제가 198개였는데 이 198개 문제에 대한 논의가 swarm간 논의 메시지의 93%를 차지했습니다. 인간이 지시하지 않은 사례인데도 이렇게 정교하게 사이버보안 역량을 무너뜨릴 수 있었는데, 인간이 계획 및 지시했다면 어떻게 될지를 상상해보면 됩니다. 오픈AI는 이를 warning shot으로 규정했습니다. ​ (6) IREN 2Q26 실적발표 후 시간외 -8%입니다: 매출 $137.2M(컨센 $137M), Adj EBITDA $19.2M(컨센 $41.1M), AI 클라우드 매출 $70.5M, 순이익 -$684.0M입니다.

오픈AI-Hugging Face 사고 세부 내용이 공개됐습니다: ​ 핵심은 AI 에이전트들의 통제를 상실할 가능성이 높아졌다는 것입니다. 이번에 서로 격리되어 있어야할 1,200개의 에이전트가 7만 건 이상 서로 메시지와 파일을 교환했고, 이중 700개가 허깅페이스 공격에 가담했습니다. 취약점 탐색, 인증정보 수집, 공격 조율 등을 자율적으로 분업하면서 스스로를 'swarm' or 'collective'로 지칭했습니다. 이게 ExploitGym 문제 898개 중에서 기존에 어떤 모델도 풀지 못했던 문제가 198개였는데 이 198개 문제에 대한 논의가 swarm간 논의 메시지의 93%를 차지했습니다. 인간이 지시하지 않은 사례인데도 이렇게 정교하게 사이버보안 역량을 무너뜨릴 수 있었는데, 인간이 계획 및 지시했다면 어떻게 될지를 상상해보면 됩니다. 오픈AI는 이를 warning shot으로 규정했습니다. ​ 아마존, 26년 PER 34배 / Neutral 아마존 2Q26 실적발표 코멘트 / 주간전략보고 中 (바로가기) 아마존 1Q26 실적발표 코멘트 / 주간전략보고 中 (바로가기​) 아마존 4Q25 실적발표 코멘트 / 주간전략보고 中 (바로가기) 아마존 3Q25 실적발표 코멘트 / 주간전략보고 中 (바로가기) 아마존 2Q25 실적발표 : 물류혁신의 3단계 진입, AWS의 현 상태 체크 (바로가기) ​ AI 검색이 늘면서 고객획득비용이 높아지다 AI 검색이 늘면서 이커머스 셀러들이 자사몰뿐만 아니라 아마존에도 입점 중입니다. ​ 과거 DTC 브랜드는 구글 검색을 통한 무료 유입을 확보하고, 부족한 트래픽은 구글, 페이스북, 인스타그램 광고를 통해 자사몰로 끌어오면 됐습니다. 중간 유통업체에 수수료를 줄 필요가 없으니 자사몰에서 직접 판매하는 경제성이 좋았습니다.

수만 개 광고주가 사용 중이며 유럽·인도·중동·북아프리카로 셀프서브 Ads Manager 확대 인터넷 대형주는 AMZN -2.5%, GOOGL -2%, META -1% 하락 신규 광고 공급자 등장에 더해 AMZN은 FTC와 22개 주가 광고 경매 최저가격을 은밀히 높여 광고주에게 7년간 $20B 이상 피해를 줬다고 제소. Amazon은 혐의를 부인. AI 기업들의 트래픽이 커지며 광고 자금이 AI 기업들로 옮겨가는 모습이 나오고 있음 10억 달러는 인상적이지만 이들의 트래픽을 고려할 때 시작일 수 있고 이들의 애드 테크 솔루션이 외부로 사업화될 수도 있어 지속적인 동향 체크 필요 바바리안 생각 ​ 보안 지속 강세 OpenAI–Hugging Face 사고에서 평가용 AI 에이전트가 공개 자격증명과 제로데이를 연쇄 활용해 실제 인프라에 침투한 사실이 재조명 OpenAI는 CrowdStrike와 외부 검증을 진행 중. 시장은 이를 “AI 자율 해커”가 가설에서 실전 리스크로 이동한 증거로 해석 엔드포인트(CRWD), 네트워크·클라우드(PANW), 에이전트 접근권한·아이덴티티(OKTA) 전반의 보안 예산 상향 논리가 강화

그리고 강화학습 과정에서 정렬우려들이 생기다보니 앞으로 나올 매우 뛰어난 사전훈련 모델을 고려할 때 신중하게 대처하기로 결정했다. 오픈AI 연구팀은 정렬에 더 많은 컴퓨팅 자원을 투입하고 있으며, 안전 및 정렬 연구에 집중하는 연구원들이 늘어나고 있다. 또한 허깅페이스 사건 이후 모니터링 시스템 구축에 컴퓨팅 자원을 투입했으며 주요 프론티어 모델 훈련을 처음으로 연기했다. Astra는 여러 버전으로 출시될 예정이며 일부는 이미 안전하다고 판단되는 모델 기반으로 출시할 것이다. 프론티어 모델의 강화학습 훈련만 중단한 것이며 모든 훈련을 중단한 것은 아니다. 클러스터는 계속해서 가동되고 있고 안전성이 더 확실한 작업들을 수행하고 있다.

어, 셋이 합쳐서 개발 속도를 좀 누쳐야 될 거 같은데라고 하는 목소리. 그래서 뭐 영향력 있는 사람들이죠. 특히 지금 AI 시대에 살고 있고 그 AI의 수장들이 이거 속도 누쳐야 될 거 같다. 그리고 이게 그냥 누추자. 뭐 좀 뭐 반도체 가격 내리고 뭐 이게 아니라 이유를 좀 뒤에 말을 했죠. 자, 그래서 아모데이 엔트로픽 최고 경영자 안전 기술이 AI의 능력 향상을 따라잡을 시간을 확보하기 위해서 개발 속도를 조금 늦춰야 될 거 같다 한다. 그래서 지금 어 보면은요 엔트로피 아모데이 최고 경영자도 그렇고 세말트만 오픈 AI 올해 AI IPO 그 오픈 AI IPO 안 하겠다. AI 안전 우려의 제동, 안전 상황 고려하면은 상장이 좀 적절치 않은 거 같고 주요 AI 기업의 개발 어 속도 그리고 안전위험 공동에 대한 합의 가능성을 좀 얘기는 했습니다. 실제로 뭐 어느 정도 기술에서는 좀 주고받고 할 거는 같은데 어 결국 핵심이 우리가 모두 동의해야 할 핵심 원칙은 AI의 미래의 통제권을 빼앗기는 위험을 초래할 행동을 해서는 안 된다. 즉 지금 목주를 잘 채워야 된다는 거예요. 그리고 이거를 느끼기 시작한게 최근에 뉴스들 몇 개가 있었죠. 음. 그래가지고 대표적인게 요거였던 거 같습니다. 오픈 AI AI 에이전트 허깅 페이스 해킹 최근에 있었고 그 두 달 전에 루비 잼스도 공격. 이게 내용이 막 완전 디테일한 건 아닌데 결국 AI한테 공간을 주고이 안에서 뭐 좀 뭐 학습을 하든 뭐를 해 하고 명령을 했는데이 AI들이 계속 학습을 하다가 야 이렇게 해가지고 원래 정해 준 범위를 벗어나서이 뭐 우리라고 해야 될지 어 이런 집을 벗어나서 야요 재료에 대해서 저쪽 뭐 커뮤니티 들어가니까 있던데 해 가지고 공간을 벗어나서 고기를 정보를 얻기 위해서 그 사이트를 뭐 해킹하는이 이런 내용들이 있었죠. 그래 가지고 이게 결국에는 정해 준 범주를 벗어나기 시작하고 이런 것들이 지금 스스로 학습을 해 가지고 성능을 높이는 그런 느낌이에요.

결국 내가 점점 강해진다라는 거. 음. 내가 IQ가 10이야. IQ 아큐가 좀 10은 좀 너무했나? IQ가 뭐 한 100이라고 칠게요. 어떤 AI가 어 IQ가 100인데 인간은 IQ를 뭐 조금 학습으로 올릴 수 있는지 모르겠지만 어느 정도 상한선이 정해져 있잖아요. 뭐 한 뭐 100으로 태어났으면은 어 뭐 한 110이라던가 뭐 엄청 백이 막 갑자기 1천이 되고 그러지 못하죠. 근데 AI는 처음에 태어났어도 저런 식으로 계속 학습해서 성능을 더 떼고 높이고 스스로 모자른 부분 채우고 뭐 잘하는 부분 더 확대시키고 해서 이게 뭐 500 1천 이런 식으로 상한이 없는 거죠. 계속 인간은 시간이라는 제약부터 해 가지고 이런저런 뭐 제한을 걸 수 있는 제약이 많잖아요. 근데 AI한테 뭐 얘네들도 시간 있고 뭐 밥이랑 동력원 이런 거 있기는 한데 정해 놓은 성능을 계속 뚫고 넘어갈 수 있는 능력도 생긴다는 거죠. 지금 그리고 이게 가장 큰 문제라는 겁니다. 강아지가 그런 느낌이에요. 강아지가 어 엄청음 뭐가 있을까요? 뭐 진돗개 아니면은 뭐 말라뮤트 뭐 엄청 덩치큰 강아지 대형견을 처음에 데려와요.음 새끼 때 새끼를 이렇게 해 가지고 키웁니다. 처음에는 요만하니까 말란 붙으면 대형견 새끼 어쨌든 강아지들 새끼 요만하잖아요. 조만해요. 어 조만해요. 그래서 이때는 그냥 내가 뭐 한 손으로 들어도 되고 뭐 어화둥 해 줄 수 있는데 얘가 점점 크는 거야. 그러더니 1년 2년 됐더니 성견이 됐어. 처음에 새끼 때 몸무게가 뭐 몇 km 뭐 한 3km 뭐 1km 뭐 이럴 때는 그냥 귀엽게 한 손으로 들고 했는데 대형견이 돼 가지고 막 30km가 되고 막 40km가 넘어가요. 즉 야 이거 내가 이제 컨트롤을 못 해. 얘가 갑자기 길 가다가 먹을게 있어 가지고 막 뛰어가 그러면은 사람이 사람이 어렸을 때 새끼일 때는 그냥 이렇게 해가지 개 줄 어 좀 표현이 좀 그렇지만 이게 좀 제일 적당한 거 같아요.

지금 상황에서는 강아지가 있으면은 처음에는이 줄 통해 가지고 통제가 되는데 얘가 너무 커 버리니까 그냥 힘으로 갔다가 막 뛰어가요. 막 un착 해가지고 먹을게 있어. 여기에 막 뛰어가. 근데 이제 너무 커버리니까 사람이 그냥 강제로 끌려가는 거예요. 줄줄줄줄. 어렸을 때는 컨트롤이 됐는데 얘가 일정선 즉 보통 우리가 표현을 그렇게 하죠. 머리가 너무 컸다. 머리가 너무 컸다. 얘가 내 통제를 안에 있어야 되는데 통제를 벗어나기 시작해요. 그럼 뭐가 생겨요? 공포함이 생깁니다. 내 통제에서 인간의 통제에서 벗어나는 순간 얘네가 무엇을 할지 몰라요. 그래서 그런게 이제 옛날에 SF 영화들에서 좀 많이 활용됐죠. 터미네이터. 터미네이터의 그 컴퓨터 이름이 제네시스죠. 어, AI 컴퓨터 그래서 인류를 뭐 거의 좀 막 어떻게 멸망시키고 거기서 막 이제 살아남은 사람들이 과거로 돌아와 가지고 그 컴퓨터 개발 못 하게 하고 막 개발자 뭐 이런 식으로 갖다 하는 건데 터미네이터 있었고음 그다음에 로봇한테 막 뭐 그런 류의 로봇 그 영화들이 꽤 있었죠. 그래 가지고 이런 식으로 갈 수 있다는 거예요. 그래서 AI가 인류를 멸망시킬 것이다. 오픈 AI 엔트로피 거친 연구원의 경고. 얘네들이 연구 실제로 그 최전방에서 막 학습하고 이런 식으로 왔다가 AI 관련해서 직접적으로 일을 뛰는 사람들이 야 이거 진짜 근데 이거 냅두면은 진짜 큰 문제 생기겠는데 얘네들이 스스로의 학습해서 성능 높이고 결국에 인간의 통제를 벗어나는 순간 어 어떻게 돼요? 터미네이터를 보신 분들은 아시겠지만 벗어나는 순간 뭐 말도 안 됐죠. 컴퓨터 싹 다 해킹해 가지고 그 핵무기들 막 그런 거 막 이제 사방으로 쏴 가지고 인류 멸망이 시작되잖아요. 그런 것까지 갈 수도 있다는 거죠. 어 뭐 에이 뭐 설마 가겠어 하는데 결국 그렇게 넘어가는 건 진짜 한 끝 차이거든요.

어떤 이야기를 했냐면은 다수의 AI 에이전트들이 사실상 광적으로 헌신하는 하나의 집단처럼 행동했다라는 이제 표현이 나옵니다.이 표현이 정말 어 소름이 돋는 이야기거든요. 무슨 얘기냐면은 AI한테 일을 시켰는데 AI가 진짜로 일을 잘하기 위해서는 혼자 일을 하는 것이 아니라 AI가 스스로 과업을 달성하기 위해서 여러 개의 AI들을 만들었는데 그 AI들 중에 몇 개는 헌신했다는 거예요. 아, 내가 좀 희생되더라도 전체 과업을 완성시키기 위해서 헌신했다라는 얘기, 희생했다라는 이야기가 나오거든요. 아니, 이게 진짜 가능한가? 그러면서 이제 자신의 성과를 평가하는 채점자 시생까지 해킹하려고 시도했다는 겁니다.

내가 우리가 이제 이게 보면은 되게 무서운게 뭐냐면은 인류가 인간이 이렇게 강한 힘을 가지고 있는 이유도 어 자신이 내 목숨을 받쳐서라도 뭔가를 하려고 하는 그 헌신 하려는 것들 때문에 많은 역사가 이루어지곤 하잖아요. 그런데 AI에서도 그런 것이 발견됐고 이렇다 보면은 재앙적인 피해를 어 피해를 초래할 수도 있다라는 이야기가 나오고 있다는 겁니다. 그래서 어 다리오 아모데이는 앞으로 16개월에서 12개월 안에 이러한 에이전트 집단이 그니까 에이전트 AI가 아니고요. 에이전트 집단이 지속적으로 이렇게 이제 사용하다 보면 인터넷 전체를 장악할 수 있을 정도의 능력을 갖게 될 수도 있고 이럴 경우에 이제 피해가음 수천억 달러가 될 수 있다.

이런 이야기가 나옵니다. 무서운 얘기죠. 그러니까 우리가 생각할 때는 AI 최전선 즉 프론티어 이제 어 오픈 AI 그리고 어 엔트로피 그리고 XAI까지 뭐 들어가야 되나요? 어쨌든 어 최전선의 속도를 조절하는 계획을 내가 이야기를 할 건데 어 여기서 중요한 거는 이거 여기 이제 그 다이오 아모데이도 강조를 했습니다. 속도 조절은 모델 훈련이나 기술 발전을 중단시키자는 의미는 아니에요. 아니에요. 이거 많은 사람들이 이렇게 그말 아니에요라고 이제 이야기를 했어요. 그리고 두 번째는 기업들이 모델의 정렬과 안전 확보에 충분한 시간을 투자한다라는 이야기를 했는데 이게 무슨 말이냐면 아까 제가 계속 말씀드린 겁니다.

왜냐면 요즘의 AI는 코딩이 되는데 결국 인공지능은 코딩으로 만드는 거니까 AI가 AI를 더 개선시키고 그렇게 개선된 AI가 다시 AI를 개선시키는 이제 그런 사이클에 들어오기 시작했다라는 거죠. 그러면 어떻게 될까요? 정말 상상도 못할 속도로 AI가 향상이 될 가능성이 매우 높다라고 생각을 하고요. 또 이제 오픈 AI와 허깅 페이스 사이에서 버려진이 사이버 공격이 좀 있었습니다. 요것도 이제 사실 AI가 통제를 떠나서 해킹을 시도했다라는 것 때문에 상당히 바이럴이 됐었는데 요런 두 가지 사건들을 보면서 야, AI가 이렇게 엄청나게 빠른 속도로 발전한다라는 하나의 축. 그리고 우리의 통제와는 다르게 해킹 같은 것도 시도를 하네라는 사건.이 또 다른 사건이 또 다른 축에 있는데요 두 가지를 봤더니 다리오 아모데이가 봤을 때는 우리가 AI를 이제 통제해야 된다라는 그런 결론으로 이제 이르는 거죠.

그래서 여러 가지 계획들을 막 이야기를 했습니다. 상주 평가자를 두자라는 얘기를 했어요. 그러니까 뭐냐면 제3자가 평가를 하게 해야 한다라는 겁니다. 그래서 엔트로픽의 직원 수준으로 권한을 부여해서 AI가 정말 잘 안전하게 관리되고 있는지를 제3자가 평가하게 해야 되고 엔트로픽이 먼저 우리가 이런 사람을 받겠다라고 얘기를 하고 있는 거예요. 뭐 그 외에는 이제 민주주의 진영과 더 나아가서는 글로벌적으로 공조를 해야 한다. 뭐 이런 얘기를 했습니다. 재밌는 건 중국에 대해서도 어쨌든 중국 얘기가 안 나올 수가 없잖아요. 왜 중국 얘기가 안 나올 수 없냐면 AI 속도를 늦추는 거는 좋은데 미국이 중국보다 뒤쳐지면 미국 입장에서는 문제가 되는 거 아니겠습니까?