[아테네] 주도주 찾기 집중, AI 인프라 내 다음 병목은?

서버에서 데이터베이스를 검색해서 요거를 그냥 사용자 보내 주는 거죠. 그래서 어떻게 보면 쌍방향이잖아요. 그래서 요거를 이제 보통 노스 사우스 트래픽이라고 하거든요. 그러니까 뭐 이건 중요한 건 아닌데 그냥 요게 식당이라고 생각하시면 됩니다. 그러니까 데이터 센터가 주방이고 사용자는 식당에 온 손님이죠. 그러니까 식당 손님하고 주방하고 이렇게 커뮤니케이션에서 내가 주문하고 그냥 음식 받아서 먹고 하면 되는데 옆에 테이블하고 내가 뭐 이야기할 필요도 없는 거고요. 그냥 옆에 테이블이 늦게 먹는다고 해서 내가 뭐 음식 받는데 크게 문제도 없는 거죠. 근데이 AI 데이터 센터는 굉장히 달라요. 단순하지가 않습니다. 이게 뭐냐면 오케스트라라고 생각하시면 되는데요. 그냥 오케스트라는 결국 여러 악기를 가진 사람들이이 합주를 해서 이거를 청중한테 전달을 하지만 이거는 이제 결과값일 뿐이고 결국 내가 다 주변 음악을 들어야 되거든요.

내가 바이올린은 하지만 옆에 첼로나 피아노나 트럼패시나 이런 소리 다 들어야 되죠. 예. 그게 커뮤니케이션에요. 그러니까 네트워크 통신은 굉장히 복잡해지는 겁니다. 그래서 만약에 내가 합주를 하는데 누구가 한 명이 반박자 느려요. 그럼 어떻게 돼요? 나머지 9,999명이 그 속도에 맞춰야 됩니다. 그래서 그런 얘기를 하죠. AI 학습에서는 가장 빠른 GPU가 결정하는게 아니라 가장 느린 GPU가 결정한다. 그래서 이게 동시에 일어나는게 되게 중요하다라고 보실 수 있는데 쉽게 이야기하면 그런 거죠. 음. 음. 그래서 이게 올투 올이라고 하거든요. 그러니까 올투 올은 이게 거의 뭐 네트워크 지옥이라고 생각하시면 됩니다. 그러니까 1천명이라는 만약에 사람이 있다 그러면 이명이 999명한테 동시에 말을 걸어요. 그러면 이게 총 트래픽 얼마나 터집니까?

100만 개가 터져요. 순식간에. 그러니까이 AI 데이터 센터의 네트워크는 굉장히 복잡하고 양이 많다 이렇게 보시면 됩니다. >> 올투올 통신이 가장 어렵다고 하는데 특히 MOE 모델이 왜이 방식에 의존하고 어떤 문제를 만드나요? >> 어 요즘에 AI 모델이 MOE 모델을 기본으로 채택하고 있죠. 예, 원래는 프랑스의 미스트랄 AI, 유럽의 자존심이라고 하는 미스트랄 AI가 MOE 모델을 가지고 제일 유명했는데 요즘에 다 씁니다. MOE 최근에 이제 문샷 AI가 내놓은 키미 K3 같은 경우도 MOE 모델이고요. 이게 뭐냐면 전체 데이터 센터가 있는데이 컴퓨팅을 다 돌리는게 아니라 내부에 여러 전문가를 두는 거죠. 역사 전문가를 두고, 과학 전문가를 두고, 철학 전문가를 두고. 자, 그래서 누가 질문을 하면 그 전문가한테 답변을 하게 되는 거죠.

100만 개가 터져요. 순식간에. 그러니까이 AI 데이터 센터의 네트워크는 굉장히 복잡하고 양이 많다 이렇게 보시면 됩니다. >> 올투올 통신이 가장 어렵다고 하는데 특히 MOE 모델이 왜이 방식에 의존하고 어떤 문제를 만드나요? >> 어 요즘에 AI 모델이 MOE 모델을 기본으로 채택하고 있죠. 예, 원래는 프랑스의 미스트랄 AI, 유럽의 자존심이라고 하는 미스트랄 AI가 MOE 모델을 가지고 제일 유명했는데 요즘에 다 씁니다. MOE 최근에 이제 문샷 AI가 내놓은 키미 K3 같은 경우도 MOE 모델이고요. 이게 뭐냐면 전체 데이터 센터가 있는데이 컴퓨팅을 다 돌리는게 아니라 내부에 여러 전문가를 두는 거죠. 역사 전문가를 두고, 과학 전문가를 두고, 철학 전문가를 두고. 자, 그래서 누가 질문을 하면 그 전문가한테 답변을 하게 되는 거죠.

자, 그러면 이게 문제입니다.이 전문가를 연결하려면 어떻게 돼요? 다 서로 커뮤니케이션 해야 되겠죠. 그래서 믹스처 오브 엑스퍼트라는이 모델 자체는 기본적으로 올투올이라는 통신 방식에 의존할 수밖에 없고 그게 결국은 엄청난 이제 네트워크 트래픽을 일으킨다고 보셔야 되고요. 또 하나가 또 이런게 있는 거 같아요. 그러니까 원래는 AI 인프라는 거 자체가 엔비디아가 제공해 주는 폐쇄적인 어떤 시스템을 기반으로 했었잖아요. 그래서 엔비디아 칩 사면 MV 링크로 칩하고 칩되고 그리고 이제 MV 스위치 그죠? 여기서 이제 스케일 업이 되고 그리고 이제 스케일 아웃은 인피니티 밴드 통해서 스케일 아웃이 되고 자 그럼 엔비디아 시스템만 쓰면 크게 문제가 없는데 문제는 뭡니까? 엔비디아 칩이 부족하죠. 그러니까 어떻게 해요?

엔비디아 칩하고 빅테크들이 설계한 A식에 A직 가고 또 연결해서 써야 되는데 여기 또 막대한 네트워크가 필요하죠. 근데 여러분 생각해 보세요. 특정 업무를 담당하는 칩이죠. 근데이 워크로드가 어떻게 되는지 몰라요. 어떤게 생길지 모르죠. 그리고 항상 바뀌죠. 워크로드라는 게. 그럼 어떻게 돼요?이 연결이 더 복잡해집니다. 네. 그게 결국은 AI 네트워크 쪽에서 굉장히 수요가 된다라는 거죠. >> 택시 회사에 비유한 것처럼 네트워크에 추가로 돈을 쓰는게 왜 비용이 아니라 자산 회수인가요? 이걸 또 이제 택시 회사에 좀 비유를 많이 합니다. 그러니까 우리가 AI 네트워크가 AI 인프라에서 원래 10% 초반 비중 이야기하다가 20%까지 이야기하죠. 메모리가 원래는 10% 초반에서 지금 30%까지 늘었죠. 그러니까 AI 인프라 내서 비중이 커지는 애들이 있는데 그게 대표적인게 메모리.

그다음에 이제 네트워크라고 보셔야 되는데 이렇게 이야기를 해 볼게요. 내가 택시 회사를 운영해요. 그러면 내가 차를 100대를 샀어요. 5천만 원짜리를 100대를 사면 어떻게 50억이죠? 50억인데 내 배 시스템이 엉망이에요. 그래서 어떻게 돼? 운전 기사가 30% 맨날 놀다가는 거죠. 그러면 어떻게 돼요? 15억이 손해잖아요. 내가 50억을 투자해서 하는데 30%가 놀면 어떻게해요? 15억이 날아가는 거죠. 그 놀고 있는 거죠. 그런데 여기에 배차 시스템을 업그레이드하는데 2억이 든다 생각해 보세요. 그러면 2억을 비용이라 생각해야 됩니까? 이게 투자 회수라고 생각해야 됩니까? 그까 만약에 배차 시스템에다가 2억을 투자해서 기사들이 노는 비중이 30%에서 10%로 떨어진다. 어떻게 되요?

그니까 지금 AI 인프라에서 네트워크가 딱 차지하는 스탠스가 그렇다 보시면 됩니다. 그러니까이 비싼 GPU가 GPU 한대당 여러분 아시겠지만 4천만 원 5천만 원하죠. 자 이게 놀아요. 네트워크가 구려 가지고 그러면 안 되겠죠. 그래서 지금 네트워크 쪽에 계속해서 예산이 더 많이 투입되는 겁니다. GPU 렉 하나가 300만 달러에서 700만 달러 정도인데 가동률을 85%에서 95%로 올리면 실제로 얼마나 이득인가요? >> 어 그렇죠. 제가 방금 말씀드린 것처럼 택시를 100대를 샀는데 100대 샀는데이 중에서 많이 놀고 있으면 안 되죠. 그러니까 GPU 서버렉 같은 경우는 이게 싸면 한 300만 불, 비싸면 700만 불. 요즘은 800만 불까지 이야기하거든요. 근데 이거를 AI 케펙스를 투자하면 어떻게 감각이라는게 있는데 감가 상각을 항상 생각할 수밖에 없죠.

그러려면 가동률 높여야 되죠. 가동률 높이려니까 이게 지금 네트워크가 계속 백목이 되고 있는 겁니다. 그래서 네트워크 쪽을 더 고도화할 수밖에 없고 그쪽을 자꾸 돈을 더 많이 투자해서 네트워크 효율을 높이면 결국 노는 GPU가 적어진다. 이렇게 생각하시면 돼요. >> 데이터 센터의 진짜 제약이 GPU 개수가 아니라 전기라고 하는데 왜 전력이 병목이 되고 이게 투자의 어떤 의미인가요? 어, AI 혁명 초창기에는 GPU 누가 제일 많이 갖다 놓는지가 제일 중요했죠. 그때는 GPU만 있으면 다 해결된다고 생각했죠. 근데 지금은 뭐예요? 전기가 없어요. 전기가. 그러니까 GPU 갖다 놓고 데이터 센터도 여기 연결할 수 있는 그레이드 인입이 안 되는 거죠. 그게 이제 병목이 되고 있는 건데 그 이유는 저 미국이 전력 망차가 워낙 굴려서 그렇죠.

그러려면 가동률 높여야 되죠. 가동률 높이려니까 이게 지금 네트워크가 계속 백목이 되고 있는 겁니다. 그래서 네트워크 쪽을 더 고도화할 수밖에 없고 그쪽을 자꾸 돈을 더 많이 투자해서 네트워크 효율을 높이면 결국 노는 GPU가 적어진다. 이렇게 생각하시면 돼요. >> 데이터 센터의 진짜 제약이 GPU 개수가 아니라 전기라고 하는데 왜 전력이 병목이 되고 이게 투자의 어떤 의미인가요? 어, AI 혁명 초창기에는 GPU 누가 제일 많이 갖다 놓는지가 제일 중요했죠. 그때는 GPU만 있으면 다 해결된다고 생각했죠. 근데 지금은 뭐예요? 전기가 없어요. 전기가. 그러니까 GPU 갖다 놓고 데이터 센터도 여기 연결할 수 있는 그레이드 인입이 안 되는 거죠. 그게 이제 병목이 되고 있는 건데 그 이유는 저 미국이 전력 망차가 워낙 굴려서 그렇죠.

예. 그래서 그게 이제 병목이 되고 있기 때문에 그런 건데 지금은 그 병목을지고 있는 회사들이 사실 돈을 번다고 보시면 됩니다. 그래서 원래는 초창기에는 GPU 업체 그러니까 엔비디아가 돈을 벌고 그다음에 TSMC 파운더리 그리고 참다 패키징 돈을 보 메모리 이제 네트워크 전기 자 이런 식으로 계속해서 병목이 옮겨가면서 부가 가치가 높아진다 이렇게 보면 되죠. 1MW로 토큰을 몇 개 만들 수 있는가가 핵심 지표가 됐다면이 관점에서 어떤 기업들이 수혜를 보나요? >> 어, 제가 본 영상에서 이런 이야기를 한번 한 적이 있는 거 같아요. 그러니까 GPU 1만 장을 같이 줘도 토큰을 뽑아내는 효율이 다르다. 자, 그게 결국은 누가 잘하느냐 봤더니 풀스택을 가지고 있는 애들이 잘하더라.

예. 하드웨어, 소프트웨어. 그리고 이제 서비스까지 가지고 있는 애들이 제일 잘하더라. 그게 이제 대표적으로 구글 그리고 메타 또 하나가 스페이스엑스죠. XAI 자 그런 사람들 왜 잘하냐 봤더니 제가 지금까지 계속해서 이야기했던게 뭐예요? 올투월 커뮤니케이션 이야기를 했잖아요. 거기서 병목을 업게 제일 잘 맞추는 애들이 제일 중요한데 자 그거를 예측을 하고 뭔가 하려면 결국 풀스택을 가지고 있는 애들이 제일 잘하더라. 서비스. 그러니까 토큰 효율화가 제일 뛰어나다. 토큰 생상성, 토큰 효율화가 제일 뛰어나는 업체들이 하이퍼스케일러들이 있더라. 하이퍼스케일러들 중에서도 특히나 서비스를 가지고 있는 애들이 잘하더라. 이런 이야기를 하는 겁니다.

네. 그러면 누가 수 보냐? 네. 방금 말씀드렸죠. 알파벳, 메타 그리고 스페이스엑스 뭐 이런 회사들 보시면 좋을 것 같고요. 그리고 [콧방귀] 사실 뭐 아마존 마이크로소프트도 괜찮습니다. 결국은 병목을 제일 잘 관리한 회사들이 앞으로 더 주목받을 수 있다. 이렇게 생각합니다. 제가 준비한 내용은 여기까지입니다. 21개 실전 투자 스터디가 이미 여러분들이이 보시는 시간에는 1월차 강의가 끝났는데 녹화번호로 보실 수 있으니까 지금이라도 참여하실 분들은 댓글 상단 링크를 통해서 신청해 주시면 좋겠습니다. 네. 아신을 위한 테크 내비게이터 긴 시간 주셔서 감사합니다. 저는 [음악] 또 다음 맵 뵙겠습니다. 여러분 안녕. [음악]