[260911] 아스트라 등장, 이후 AI 반도체 시장이 확 바뀝니다!! IT의 신 이형수

IT신 아신 여러분 안녕하십니까?요 다섯 [음악] 번째 책. 네. 아직 신청 안 하신 분 없죠? 네. 많이 읽어 주세요. [웃음] 네. 댓글 상단 링크를 통해서 예약 판매 신청하시면 되고요. 이번에는 2, 3주 기다리시면 받을 수 있는 거 같습니다. 네. 하여튼 [음악] 일정 잘 보시고. 자, 오늘은 제가 음, 오픈 AI GPT6 아스트라 이야기할 건데 A라는 이야기 하면서 창 닫으시는 분 있을까 봐 닫지 마세요. 오늘 다른 이야기 할 겁니다. 이게 AGI에 가깝고 뭐 막 그런 이야기 다 들었잖아요. 그죠? 예. 이게 반도체 주가에 특히나 멤버리 주가에도 긍정적이었다고 하는데 자 그러면 저는 철저하게 틈새를 공략해서 자 아스트라가 자 이게 뭐 대단한 건 알겠는데 자 저는 GPU 10만 장 학습 자 이게 왜 어려운지에 대해서 여러분들한테 좀 설명드릴게요. 그리고 이게 반도체 시장에는 또 어떤 영향이 있는지 어 뭐 10만 장이고 검마 아닙니까? 요즘에 뭐 스페이스엑스 콜로서스 뭐 이런 거 금방 만든다고 하던데 이게 뭐가 대수입니까? 생각하실 수 있어요 여러분들. 자 초창기 우리 한번 생각해 보자고요. 처음에 채집t 나왔을 때 자 이게 뭐라 그랬어요? 이게 A 1만장 5조개의 데이터 시트 가지고 학습했다고 했죠. 그리고 그때 매개 변수가 뭐 했습니까? 1700 175억 1750억 매개 변수 파라미터 자 그래서 우리가 이거 그동안 뭐였어요 이게? 이게 매개 변수 키우면 성능 좋은 거네. 사전 학습이니까 그죠? 사전 학습에서 자 이야기 계속 했다고 그죠? 그래 가지고 이게 GPT 4가 4가 이게 아마 GPU 16,000장 장 가지고 학습을했다. 자, 이것까지 여러분 대충 아시겠잖아요. 그니까 AI 트래킹하신 분들은 아시죠? 근데 요즘에 매개 변수 이야기합니까? 자, 매개 변수가 몇 개인데? 이거 가지고 막 성능 좋다 이런 이야기 안 하잖아요. 자, 왜 그러냐면 지금은 AI 기술의 트렌드가 MOE로 갔기 때문에 그래요. 자, MOE는 뭐냐? Mi믹처 오. 자, 요즘에는 다 이렇게 한단 말이에요. 쉽게 이야기하면이 AI 데이터 센터 예전에는 이거 그냥 풀로 다 돌렸는데 요즘에는 내가 질문을 하면 여기 있는 특정 전문가만 활성화 된단 말이에요. 그러면 실제로 이게 1GW 정도의 데이터 센터라고 하면 여기서 실제로 활성화되는 건 한 14%밖에 안 되는 거. 그래서 이제는 매개 변수가 곧 성능이다라는 이야기를 안 하게 되는 겁니다. 예. 왜냐면 MOE 때문에. 자, 지금 MOE를 안 쓰는 모델이 없죠. 예. 그래서 또 이런 이야기를 많이 하십니다. 아니, 저 우리 아시님 초창기에 파운데이션 모델 자, 파운데이션 AI, 애플리케이션 AI. 자, 이거 많이 이야기했는데 왜 요즘에 프런티어 랩은 또 뭐예요? 자, 여러분, [웃음] 모든 LLM 업체들은 파운데이시아 모델입니다. 예, 파운데이션 모델이고이 API를 가지고 와서 개발해서 애플리케이션 만드는 업체들이 있는 건데 프론티어 랩은 뭐냐면 파운데이션 모델들 중에서 최상위 최상위 업체들 그냥 프론티어 랩이라고 새로 분류를 하는 겁니다. [콧방귀] 요게 1 *하기 10의 한 26성에서 27성 정도의 이제 플롭스라고 하는데요. 아, 이게 점점 어려워지는데. 자, 이게 MOE가 되면서 이제는 매개 변수가 아니라 플로스 연산량이 중요해지는 거예요. 연산량. 이게 뛰어나야지 프론티어 랩이라고 하는데 프론티어 랩은 여러분 뭐 아시는 것처럼 우리 엔트로픽의 클로드 네. 클로드 오퍼스 뭐 최근에 나오는 페이블 5.1 그리고 아스트라 당연히 이제 포함되는 거고요. 그리고 이제 구글 재미나이 그죠? 네. 그 정도가 이제 프론티어 랩이라고 합니다. 제일 지금 컴퓨팅 AI 인프라 쪽에서 제일 지금 죽기 살기로 하고 있는 애들 그렇게 보시면 되는데 그러면 뭐 이거 10만 장 이게 뭐가 이렇게 대단한 거냐? 자 이야기를 해 드릴게요. 다시 본론으로 가서 요즘에는 출론 이야기밖에 안 하죠. 네. 출론. 자, 오늘 데이터센터 AI 인프라 그러면 다 추론 아니냐? 출론용. 예. 학습이 언제적 학습이냐? 이런 이야기 하시잖아요. 자, 그거를 오픈 AI가 보여 준 거예요. 학습이 다시 한번이 추론 고도화가 아니라 학습에서 뭔가 한번 돌파를 만들어 냈다라는 거예요. 그게 GPU 10만장이란 의미고 이게 이제 프리필이란 영역이고 그리고 이제 디코드라 영역이죠. 자, 그런데 대부분의 연산은 디코드 쪽. 자, 이거 뭐 디코드 어떻게 하냐? 요즘에 뭐 LPU 가지고 LPX 가지고 뭐 이런 이야기하는게 다 뭐 디코드 이야기였잖아요. 근데 다시 학습. 학습이 사실 양으로 보면 양으로 보면 출론이 압도적이죠. 네. 이게 여기가 비중이 뭐 살고 싶다고 보는데 학습이이 비중이 적은데도 불구하고 왜 이게 의미가 있냐면 여기 하이 엔드 수요에서 되게 중요한 거예요. 하이 엔드 수. 특히나는 메모리 이게 HBM 수요에 매우매 중요한 영향을 줄 수 있다라는 겁니다. 실제로 주고 있죠. 그게 사실 최근 주가에 되게 중요한 포인트가 됐고 제가 이제 메모리 쪽에서 HBM 다시 주목해야 된다라고 여러분들한테 계속 말씀드리고 있습니다. 그죠? 왜냐면 이게 다시 성장률이 올라가고 있는 상황이기 때문에 그런 건데 그만큼 기술적으로도 중요해진다라는 건데요. 지표 신만장이 왜 어렵냐면 세 가지 포인트가 있습니다.이 지표 10만장으로 학습하기 어려운 세 가지 포인트가 있는데 첫 번째 네트워크예요. 제가 어 이걸 설명드렸는지 모르겠는데 네트워크가 올투 올로 해야 됩니다. 그러니까 10만 장이요 학습하면서 실시간 지들끼리 계속해서 GPU 한 장이 99만9,999장한테 동시에 막 이야기해야 되는 거예요. 예. 이게 그러면 얼마나 복잡합니까? 네트워크가. 그런데 한 명이 억이 나요. 지표 하나가 억이 나 그러면 이게 다운돼요. [웃음] 실제로 GPT4 학습을 1만 요청장을 했잖아요. 이게 그때 공개했을 때만 해도 54일 동안 466번 셧다운이 됐다. 내가 [웃음] 그만큼 어려워요. 그러면 16, 자 가지고 54일 동안 466번 뻥이 났는데 10만 장 가지고 하면 얼마나 어렵겠어요. 그니까이 네트워크가 엄청나게 흐렸고요. 또 하나가 이제 전력입니다. 전력. 이게 기본적으로이 정도 돌리려면 70MW에서 한 100MW 정도가 필요한데 한번 학습하는데 이게 냉각이나 전력 효율나 이런 부분 포함하면 한 130에서 한 180W 정도가 필요합니다. 아니 뭐 이거 기가W 정도면 뭐 이거 그냥 한 번에 다 되는 거 아닙니까라고 생각하실 수 있는데요. 쉽잖아요 이게. 단일 사이트에서 단일 사이트에서 자 우리가 항상 헷갈리는게 뭐냐면 우리가 콜로소스가 뭐 10만장 GPU 가지고 있다. 자, 이거는 우리가 클러스터를 가지고 있습니다.이 말이고요.이 10만장 클러스터를 하나의 단일 작업에 다 투입을 못 해요. 그게 결국은 네트워크하고 전력에서 병목이 있고 또 하나가 이제 문제가 신뢰성입니다. 세 가지 문제 때문에 안 되는 건데. 자,이 불가능한 일을 아스트라가 해냈다는 거예요. 그러면 다른 두 업체는 어떻게 하겠어요? 네, 하겠죠. 그러면 메모리 특히나 하이엔드 메모리 수요가 급증하게 될 거다. 원래 계획이 없던 거다. 자, 이겁니다. 이거 예 그러니까 딱 요즘에 주가가 가는 이유가 있죠. 네트워크 전력. 네. 메모리. 메모리 딱 그 세 개로 압축이 되죠. 자, 여러분이 아스트라 공개 이후에 제일 좋아하는 애들이 누군지 아세요? [웃음] 일단 주가 움직임 보면 나오죠. 엔비디아. 그리고 이제 소프트뱅크. 또 하나가 있어요, 여러분. 하이퍼스케일러 중에 제일 못나니 오라클. 자, 얘들은 그냥 뭐 오픈 AI, 지분 투자 뭐 그런 것 때문에 그렇다 쳐도 자, 엔비디아가 왜 이렇게 좋아하냐? 아, 젠슨왕이 뭐 요즘에 a 성공을 축한다고 막 메시지 날리고 있죠. 자, 이게 왜 그러냐면 엔비디아 협장에서 이게 왜 중요하냐면 제가 이야기했잖아요. 네트워크하고 전력하고 신뢰성이 문제라고 했잖아요. 자, 이거를 한 방에 얘기를 해 줄 수 있는 애들 애가 누구냐? 엔비디아입니다. 왜냐면 예전에는 그냥 GPU 그냥 하나의 10단위로 팔았죠. 그러니까 뭐이 올토 네트워크하고 전력이 쉽지 않아요. 근데 이게 점점 어떻게 됩니까? 서버 렉 단위로 보죠. 네. 렉 단위로 팔죠. GB 200, 베라루빈 200. 자, 서브렉 단위로 팔잖아요. 그죠? 그러니까 여기서 얘들이 N보링크나 인피니 밴드나 자, 이런 거 다 우리가 한 방에 해결해 줄게. 왜 자꾸 그렇게 AG 가지고 끼워 가지고 이렇게 하냐 이런 거죠. 이거 이제 학습에 대해서 이야기하는 겁니다. 이제는 뭐냐? 팝 단위로 팔 수 있는 팝. 요게 이제 서버렉을 40개 한 거거든요. 서버. 자, 이렇게 하면 야, 너네도 AI 할 수 있어. 이거를 이제 엔비디아가 보여 준 거죠. 예. 그러니까 최근에 보면 엔비디아가 네트워크 쪽에 투자를 하고 있죠. 루멘텀, 코일르런트. 예. 전력 쪽에 투자하고 있죠. 자, 투자 못 한게 어디니까? 메모리 아닙니까? 메모리 그죠? 메모리 집은 투자 못 하고 있죠. 아직 근데 뭐 하고 있어? 이번에 5천억 달러 규모에 장기 공급 계약을 SK 하이닉스하고 발표를 했죠. 발표를 할 것 또 뭡니까? 이번에 M비디아 EQ 실적에서 보면 기존에 약정액이 달러에서 이게 1600억 달러가 추가됐죠. 그래서 이게 거의 2,790억 달러. 자, 이거 대부분 뭐라 그랬어요?이 메모리라고 했죠. 이게 HBM하고 이제 소캠 같은 거. 그러니까 이게 메모리 주가가 지금 최근에 안 움직이다가 매크로 때문에 꽉 눌려 있다가 그걸 뚫고 지금 튀어오는게 아스트라의 영향인 거죠. 예. 이제 팟단위로 사겠죠. 그러면 여기에 예상치 않았던 하이엔드 메모리 수요가 추가가 되는구나. 오, EPS가 더 올라갈 수 있겠구나. 그겁니다. 네. 그래서 저는 아스트라의 10만 장 학습 가지고 요렇게 콘텐츠를 뽑아냈습니다. 자, 다시 한번 아스트라로 인한이 수혜를 정리를 드리면 일단 최상위 쪽에는 HBM이 제일 직접적입니다. 예. 하이엔드 칩을 팟 단위로 이제 판다. 그리고 이제 전력 인프라가 여전히 이제 최전선의 병목이다. 네. 그런 것들을 한번 보시면 좋을 것 같고요. 뭐 HD 현대일렉 효성 중공업, LS 1렉 뭐 이런 회사들 있죠. 그리고 이제 네트워크는 이제 미국의 광 네트워크 관련 업체들이 있는데 국내 수회는 좀 애매합니다. 그래서 항상 이야기하는게 기판네 삼성전기 이수페타시스 뭐 이런 회사들이 좀 수를 볼 수 있고 그리고 이제 첨단 패키징 예 첨단 패키징 관련된 후공정들도 더 좋아질 수 있다. 뭐 이런 이야기였습니다. 자 신만장 GPU 학습이 뭐가 그렇게 어렵냐? 겁나게 어렵습니다. 네. 그거를 이번에 오픈 AI가 보여줬다. 해냈다. 네. 그러면 다른 업체들도 아마 해내려고 할 거다. 예. 그게 결국은 반도체, 메모리, 그리고 그 밑에 있는 밸류 체인까지 상당한 영향을 주게 된다라는 내용이었습니다. 문장 한 문장으로 잘 만들죠. [웃음] 자, 제가 다섯 번째 쓴 책. 네. 침토의 법칙. 거기 보면 새로 일어나는 테크 사이클에서 뭘 봐야 되는지 그리고 그 사이클의 변곡점마다 어떻게 투자해야 되는지 그런 것들이 기존 책하고 좀 다릅니다. 이제 기존 책들은 약간 실용서였는데 여기는 약간 어떻게 [콧방귀] 보면 마음 자세나 투자 철학이나 그리고 제가 이제 쫄딱 망했던 이런 이야기들이 들어가 있습니다. 그래서 댓글상 링크를 통해서 많이 신청해 주시면 좋을 것 같습니다. 네. 긴 영상 끝까지 꼭 봐 주셔서 감사합니다. 저는 다음 영상에서 더 좋은 내용으로 찾아뵙도록 하겠습니다. 여러분 안녕! [음악]