GPT-6 Astra 대규모 GPU 학습 공개
작성자의 핵심 판단
아스트라의 GPU 10만 장 학습은 추론 중심으로 보이던 AI 인프라 논의에 학습 수요의 돌파를 다시 만들었고, 하이엔드 메모리·네트워크·전력 수요를 함께 보게 하는 변화라고 평가한다.
근거 보기 3
- 원문 구간 1
학습이 언제적 학습이냐? 이런 이야기 하시잖아요. 자, 그거를 오픈 AI가 보여 준 거예요. 학습이 다시 한번이 추론 고도화가 아니라 학습에서 뭔가 한번 돌파를 만들어 냈다라는 거예요. 그게 GPU 10만장이란 의미고 이게 이제 프리필이란 영역이고 그리고 이제 디코드라 영역이죠. 자, 그런데 대부분의 연산은 디코드 쪽. 자, 이거 뭐 디코드 어떻게 하냐? 요즘에 뭐 LPU 가지고 LPX 가지고 뭐 이런 이야기하는게 다 뭐 디코드 이야기였잖아요. 근데 다시 학습. 학습이 사실 양으로 보면 양으로 보면 출론이 압도적이죠. 네. 이게 여기가 비중이 뭐 살고 싶다고 보는데 학습이이 비중이 적은데도 불구하고 왜 이게 의미가 있냐면 여기 하이 엔드 수요에서 되게 중요한 거예요. 하이 엔드 수. 특히나는 메모리 이게 HBM 수요에 매우매 중요한 영향을 줄 수 있다라는 겁니다. 실제로 주고 있죠. 그게 사실 최근 주가에 되게 중요한 포인트가 됐고 제가 이제 메모리 쪽에서 HBM 다시 주목해야 된다라고 여러분들한테 계속 말씀드리고 있습니다.
- 원문 구간 2
네, 하겠죠. 그러면 메모리 특히나 하이엔드 메모리 수요가 급증하게 될 거다. 원래 계획이 없던 거다. 자, 이겁니다. 이거 예 그러니까 딱 요즘에 주가가 가는 이유가 있죠. 네트워크 전력. 네. 메모리. 메모리 딱 그 세 개로 압축이 되죠. 자, 여러분이 아스트라 공개 이후에 제일 좋아하는 애들이 누군지 아세요? [웃음] 일단 주가 움직임 보면 나오죠. 엔비디아. 그리고 이제 소프트뱅크. 또 하나가 있어요, 여러분. 하이퍼스케일러 중에 제일 못나니 오라클. 자, 얘들은 그냥 뭐 오픈 AI, 지분 투자 뭐 그런 것 때문에 그렇다 쳐도 자, 엔비디아가 왜 이렇게 좋아하냐? 아, 젠슨왕이 뭐 요즘에 a 성공을 축한다고 막 메시지 날리고 있죠. 자, 이게 왜 그러냐면 엔비디아 협장에서 이게 왜 중요하냐면 제가 이야기했잖아요. 네트워크하고 전력하고 신뢰성이 문제라고 했잖아요. 자, 이거를 한 방에 얘기를 해 줄 수 있는 애들 애가 누구냐?
- 원문 구간 3
자, 다시 한번 아스트라로 인한이 수혜를 정리를 드리면 일단 최상위 쪽에는 HBM이 제일 직접적입니다. 예. 하이엔드 칩을 팟 단위로 이제 판다. 그리고 이제 전력 인프라가 여전히 이제 최전선의 병목이다. 네. 그런 것들을 한번 보시면 좋을 것 같고요. 뭐 HD 현대일렉 효성 중공업, LS 1렉 뭐 이런 회사들 있죠. 그리고 이제 네트워크는 이제 미국의 광 네트워크 관련 업체들이 있는데 국내 수회는 좀 애매합니다. 그래서 항상 이야기하는게 기판네 삼성전기 이수페타시스 뭐 이런 회사들이 좀 수를 볼 수 있고 그리고 이제 첨단 패키징 예 첨단 패키징 관련된 후공정들도 더 좋아질 수 있다. 뭐 이런 이야기였습니다. 자 신만장 GPU 학습이 뭐가 그렇게 어렵냐? 겁나게 어렵습니다. 네. 그거를 이번에 오픈 AI가 보여줬다. 해냈다. 네. 그러면 다른 업체들도 아마 해내려고 할 거다.
이 자료에서 다룬 사실
이 자료는 오픈AI가 아스트라 학습에 GPU 10만 장을 사용했다고 제시하며, GPT-4 학습에는 GPU 1만6,000장이 사용됐고 54일 동안 466번 셧다운이 있었다는 사례를 함께 든다.
근거 보기 3
- 원문 구간 1
그리고 이게 반도체 시장에는 또 어떤 영향이 있는지 어 뭐 10만 장이고 검마 아닙니까? 요즘에 뭐 스페이스엑스 콜로서스 뭐 이런 거 금방 만든다고 하던데 이게 뭐가 대수입니까? 생각하실 수 있어요 여러분들. 자 초창기 우리 한번 생각해 보자고요. 처음에 채집t 나왔을 때 자 이게 뭐라 그랬어요? 이게 A 1만장 5조개의 데이터 시트 가지고 학습했다고 했죠. 그리고 그때 매개 변수가 뭐 했습니까? 1700 175억 1750억 매개 변수 파라미터 자 그래서 우리가 이거 그동안 뭐였어요 이게? 이게 매개 변수 키우면 성능 좋은 거네. 사전 학습이니까 그죠? 사전 학습에서 자 이야기 계속 했다고 그죠? 그래 가지고 이게 GPT 4가 4가 이게 아마 GPU 16,000장 장 가지고 학습을했다. 자, 이것까지 여러분 대충 아시겠잖아요. 그니까 AI 트래킹하신 분들은 아시죠? 근데 요즘에 매개 변수 이야기합니까? 자, 매개 변수가 몇 개인데? 이거 가지고 막 성능 좋다 이런 이야기 안 하잖아요.
- 원문 구간 2
학습이 언제적 학습이냐? 이런 이야기 하시잖아요. 자, 그거를 오픈 AI가 보여 준 거예요. 학습이 다시 한번이 추론 고도화가 아니라 학습에서 뭔가 한번 돌파를 만들어 냈다라는 거예요. 그게 GPU 10만장이란 의미고 이게 이제 프리필이란 영역이고 그리고 이제 디코드라 영역이죠. 자, 그런데 대부분의 연산은 디코드 쪽. 자, 이거 뭐 디코드 어떻게 하냐? 요즘에 뭐 LPU 가지고 LPX 가지고 뭐 이런 이야기하는게 다 뭐 디코드 이야기였잖아요. 근데 다시 학습. 학습이 사실 양으로 보면 양으로 보면 출론이 압도적이죠. 네. 이게 여기가 비중이 뭐 살고 싶다고 보는데 학습이이 비중이 적은데도 불구하고 왜 이게 의미가 있냐면 여기 하이 엔드 수요에서 되게 중요한 거예요. 하이 엔드 수. 특히나는 메모리 이게 HBM 수요에 매우매 중요한 영향을 줄 수 있다라는 겁니다. 실제로 주고 있죠. 그게 사실 최근 주가에 되게 중요한 포인트가 됐고 제가 이제 메모리 쪽에서 HBM 다시 주목해야 된다라고 여러분들한테 계속 말씀드리고 있습니다.
- 원문 구간 3
그죠? 왜냐면 이게 다시 성장률이 올라가고 있는 상황이기 때문에 그런 건데 그만큼 기술적으로도 중요해진다라는 건데요. 지표 신만장이 왜 어렵냐면 세 가지 포인트가 있습니다.이 지표 10만장으로 학습하기 어려운 세 가지 포인트가 있는데 첫 번째 네트워크예요. 제가 어 이걸 설명드렸는지 모르겠는데 네트워크가 올투 올로 해야 됩니다. 그러니까 10만 장이요 학습하면서 실시간 지들끼리 계속해서 GPU 한 장이 99만9,999장한테 동시에 막 이야기해야 되는 거예요. 예. 이게 그러면 얼마나 복잡합니까? 네트워크가. 그런데 한 명이 억이 나요. 지표 하나가 억이 나 그러면 이게 다운돼요. [웃음] 실제로 GPT4 학습을 1만 요청장을 했잖아요. 이게 그때 공개했을 때만 해도 54일 동안 466번 셧다운이 됐다. 내가 [웃음] 그만큼 어려워요. 그러면 16, 자 가지고 54일 동안 466번 뻥이 났는데 10만 장 가지고 하면 얼마나 어렵겠어요.
그렇게 판단한 이유
GPU 10만 장을 단일 작업에 투입하려면 GPU들이 서로 실시간으로 통신하는 네트워크, 70~100MW 수준의 전력과 냉각, 시스템 신뢰성을 동시에 해결해야 한다고 설명한다. 이 병목을 넘은 학습 사례가 늘면 기존 계획에 없던 하이엔드 메모리 수요가 생길 수 있다는 논리다.
근거 보기 3
- 원문 구간 1
그죠? 왜냐면 이게 다시 성장률이 올라가고 있는 상황이기 때문에 그런 건데 그만큼 기술적으로도 중요해진다라는 건데요. 지표 신만장이 왜 어렵냐면 세 가지 포인트가 있습니다.이 지표 10만장으로 학습하기 어려운 세 가지 포인트가 있는데 첫 번째 네트워크예요. 제가 어 이걸 설명드렸는지 모르겠는데 네트워크가 올투 올로 해야 됩니다. 그러니까 10만 장이요 학습하면서 실시간 지들끼리 계속해서 GPU 한 장이 99만9,999장한테 동시에 막 이야기해야 되는 거예요. 예. 이게 그러면 얼마나 복잡합니까? 네트워크가. 그런데 한 명이 억이 나요. 지표 하나가 억이 나 그러면 이게 다운돼요. [웃음] 실제로 GPT4 학습을 1만 요청장을 했잖아요. 이게 그때 공개했을 때만 해도 54일 동안 466번 셧다운이 됐다. 내가 [웃음] 그만큼 어려워요. 그러면 16, 자 가지고 54일 동안 466번 뻥이 났는데 10만 장 가지고 하면 얼마나 어렵겠어요.
- 원문 구간 2
그니까이 네트워크가 엄청나게 흐렸고요. 또 하나가 이제 전력입니다. 전력. 이게 기본적으로이 정도 돌리려면 70MW에서 한 100MW 정도가 필요한데 한번 학습하는데 이게 냉각이나 전력 효율나 이런 부분 포함하면 한 130에서 한 180W 정도가 필요합니다. 아니 뭐 이거 기가W 정도면 뭐 이거 그냥 한 번에 다 되는 거 아닙니까라고 생각하실 수 있는데요. 쉽잖아요 이게. 단일 사이트에서 단일 사이트에서 자 우리가 항상 헷갈리는게 뭐냐면 우리가 콜로소스가 뭐 10만장 GPU 가지고 있다. 자, 이거는 우리가 클러스터를 가지고 있습니다.이 말이고요.이 10만장 클러스터를 하나의 단일 작업에 다 투입을 못 해요. 그게 결국은 네트워크하고 전력에서 병목이 있고 또 하나가 이제 문제가 신뢰성입니다. 세 가지 문제 때문에 안 되는 건데. 자,이 불가능한 일을 아스트라가 해냈다는 거예요. 그러면 다른 두 업체는 어떻게 하겠어요?
- 원문 구간 3
네, 하겠죠. 그러면 메모리 특히나 하이엔드 메모리 수요가 급증하게 될 거다. 원래 계획이 없던 거다. 자, 이겁니다. 이거 예 그러니까 딱 요즘에 주가가 가는 이유가 있죠. 네트워크 전력. 네. 메모리. 메모리 딱 그 세 개로 압축이 되죠. 자, 여러분이 아스트라 공개 이후에 제일 좋아하는 애들이 누군지 아세요? [웃음] 일단 주가 움직임 보면 나오죠. 엔비디아. 그리고 이제 소프트뱅크. 또 하나가 있어요, 여러분. 하이퍼스케일러 중에 제일 못나니 오라클. 자, 얘들은 그냥 뭐 오픈 AI, 지분 투자 뭐 그런 것 때문에 그렇다 쳐도 자, 엔비디아가 왜 이렇게 좋아하냐? 아, 젠슨왕이 뭐 요즘에 a 성공을 축한다고 막 메시지 날리고 있죠. 자, 이게 왜 그러냐면 엔비디아 협장에서 이게 왜 중요하냐면 제가 이야기했잖아요. 네트워크하고 전력하고 신뢰성이 문제라고 했잖아요. 자, 이거를 한 방에 얘기를 해 줄 수 있는 애들 애가 누구냐?
작성자가 예상한 다음 전개
다른 프론티어 랩도 같은 수준의 학습을 시도할 것으로 보며, 그 과정에서 반도체·메모리와 밸류체인 수요가 커질 수 있다고 본다.
근거 보기 3
- 원문 구간 1
네, 하겠죠. 그러면 메모리 특히나 하이엔드 메모리 수요가 급증하게 될 거다. 원래 계획이 없던 거다. 자, 이겁니다. 이거 예 그러니까 딱 요즘에 주가가 가는 이유가 있죠. 네트워크 전력. 네. 메모리. 메모리 딱 그 세 개로 압축이 되죠. 자, 여러분이 아스트라 공개 이후에 제일 좋아하는 애들이 누군지 아세요? [웃음] 일단 주가 움직임 보면 나오죠. 엔비디아. 그리고 이제 소프트뱅크. 또 하나가 있어요, 여러분. 하이퍼스케일러 중에 제일 못나니 오라클. 자, 얘들은 그냥 뭐 오픈 AI, 지분 투자 뭐 그런 것 때문에 그렇다 쳐도 자, 엔비디아가 왜 이렇게 좋아하냐? 아, 젠슨왕이 뭐 요즘에 a 성공을 축한다고 막 메시지 날리고 있죠. 자, 이게 왜 그러냐면 엔비디아 협장에서 이게 왜 중요하냐면 제가 이야기했잖아요. 네트워크하고 전력하고 신뢰성이 문제라고 했잖아요. 자, 이거를 한 방에 얘기를 해 줄 수 있는 애들 애가 누구냐?
- 원문 구간 2
자, 다시 한번 아스트라로 인한이 수혜를 정리를 드리면 일단 최상위 쪽에는 HBM이 제일 직접적입니다. 예. 하이엔드 칩을 팟 단위로 이제 판다. 그리고 이제 전력 인프라가 여전히 이제 최전선의 병목이다. 네. 그런 것들을 한번 보시면 좋을 것 같고요. 뭐 HD 현대일렉 효성 중공업, LS 1렉 뭐 이런 회사들 있죠. 그리고 이제 네트워크는 이제 미국의 광 네트워크 관련 업체들이 있는데 국내 수회는 좀 애매합니다. 그래서 항상 이야기하는게 기판네 삼성전기 이수페타시스 뭐 이런 회사들이 좀 수를 볼 수 있고 그리고 이제 첨단 패키징 예 첨단 패키징 관련된 후공정들도 더 좋아질 수 있다. 뭐 이런 이야기였습니다. 자 신만장 GPU 학습이 뭐가 그렇게 어렵냐? 겁나게 어렵습니다. 네. 그거를 이번에 오픈 AI가 보여줬다. 해냈다. 네. 그러면 다른 업체들도 아마 해내려고 할 거다.
- 원문 구간 3
예. 그게 결국은 반도체, 메모리, 그리고 그 밑에 있는 밸류 체인까지 상당한 영향을 주게 된다라는 내용이었습니다. 문장 한 문장으로 잘 만들죠. [웃음] 자, 제가 다섯 번째 쓴 책. 네. 침토의 법칙. 거기 보면 새로 일어나는 테크 사이클에서 뭘 봐야 되는지 그리고 그 사이클의 변곡점마다 어떻게 투자해야 되는지 그런 것들이 기존 책하고 좀 다릅니다. 이제 기존 책들은 약간 실용서였는데 여기는 약간 어떻게 [콧방귀] 보면 마음 자세나 투자 철학이나 그리고 제가 이제 쫄딱 망했던 이런 이야기들이 들어가 있습니다. 그래서 댓글상 링크를 통해서 많이 신청해 주시면 좋을 것 같습니다. 네. 긴 영상 끝까지 꼭 봐 주셔서 감사합니다. 저는 다음 영상에서 더 좋은 내용으로 찾아뵙도록 하겠습니다. 여러분 안녕! [음악]