별의순간

보존 원문 발췌

샌디스크가 6월 9일 Mizuho 컨퍼런스에 참석했습니다: ​ Enterprise SSD 매출이 전사 매출비중의 25%까지 올라왔지만 이제 막 시작된 것에 가깝다고 설명했습니다. 고성능 TLC SSD는 이미 여러 하이퍼스케일러에게 퀄을 받았고, QLC Stargate SSD는 이제 막 매출인식이 시작될 예정입니다. 더 높은 부가가치의 eSSD 믹스가 높아지고 있다는 것이 좋습니다. HBF는 지금의 AI 시스템에 꽂아 넣었을 때는 효용이 낮고, 고객이 HBF 구조에 맞게 모델과 하드웨어 조를 변경해야 제대로 작동하는 기술이라고 말했습니다. 따라서 실제 HBF 매출을 기대하려면 CY28쯤이 넘어야 가능할 것으로 보입니다. ​ 애플의 WWDC : MoE를 애플식으로 다시 구조화하다 이번 WWDC26에서 의외였던 게 3세대 파운데이션 모델을 다루는 방식이었습니다. 나름 애플식으로 LLM을 녹여내기 위해 고민을 많이 했구나 싶은 점들이 있었습니다. 애플의 3세대 파운데이션 모델에 대한 System card는 ML 페이지에서 볼 수 있었습니다. 제미나이를 가져다가 distilled해서 만든 AFM 3(Apple Foundation Model 3)입니다. ​ system card를 보다가 가장 눈에 띄었던 건 MoE입니다. 애플은 이것도 Static weigths in DRAM, Dynamic experts, inactive experts라고 색다르게 표현했는데 Total parameter, Active Parameter로 생각하시면 됩니다. 애플이 잘하는 것 중 하나는 이미 전문가 집단에서 통용되는 개념을 본인들만의 언어로 다시 풀어내는 것입니다. 설명 자체는 직관적이지만 처음 보면 마치 애플이 이 구조를 처음 만든 것처럼 착각하기 쉽습니다. ​ DRAM 대신 NAND 활용한 MoE : 가격 대비 용량과 지연시간의 트레이드오프 두 번째로 흥미로웠던 부분은 애플이 비싼 DRAM 대신 NAND를 적극 활용했다는 점입니다.

여기서 비싸다는 말은 절대적인 수치상의 가격이 아니라, 메모리 계층 구조에서 $/GB 기준으로 DRAM이 NAND보다 훨씬 비싸다는 의미입니다. 결국 핵심은 $/GB와 Latency의 트레이드오프입니다. ​ 애플은 전체 파라미터를 DRAM이 아니라 NAND에 저장하는 구조를 택했습니다. 다만 표준적인 MoE 모델처럼 토큰 단위로 expert 가중치를 계속 교환하려면 NAND와 DRAM 사이의 대역폭이 너무 느립니다. 그래서 애플은 토큰 단위 라우팅이 아니라 프롬프트 단위 라우팅에 가까운 구조를 선택했습니다. 즉, 특정 사용 사례별로 미리 정해진 활성 매개변수를 사용하는 방식입니다. ​ 랜덤성이 커질수록 NAND-DRAM 대역폭 병목이 부각될 수 있으니, 아예 결정론적으로 움직이도록 설계한 것입니다. 애플을 최상위 프런티어 모델 기업으로 보기는 어렵고 Tier 3 정도로 보는 것이 맞겠지만, 이 접근 자체는 꽤 흥미롭습니다. 이런 부분은 <LLM 추론 토큰 가격의 비밀 : MoE의 시대, 엔비디아의 NVL72가 중요한 이유>을 보고 나셨다면 이해가 더 잘 되실 내용입니다. ​ 샌디스크가 주간으로 강세였던 이유도 파라미터를 NAND에 저장하는 새로운 시도를 선보였기 때문이라고 생각하고 있습니다. ​ 사전훈련은 TPU, 추론은 NVDA B200 GPU 세 번째 포인트는 애플이 GCP의 TPU를 활용해 사전훈련 규모를 대폭 키웠다는 점입니다. 이후 각 모델을 실제 서빙할 하드웨어에 맞게 별도로 최적화했습니다. ⓐAFM Core, ⓑAFM 3 Core Advanced, ⓒAFM 3 Cloud, ⓓADM 3 Cloud(Image)는 Apple Silicon에 맞게 최적화했고, 가장 고지능의 거대 모델인 ⓔAFM 3 Cloud Pro는 엔비디아 GPU에 최적화했다는 내용이 확인됩니다. ​ 사람들의 일반적인 인식과는 다를 수 있지만 구조적으로 보면 대규모 행렬곱을 수행하고 Pod 단위에서 큰 Scale-up 도메인 메모리 용량을 확보해야 하는 사전훈련에서는 TPU가 유리한 지점이 있습니다(랙 단위 OCS Scale-up 덕분).

반면 MoE 모델 추론 영역에서는 엔비디아 GPU가 여전히 TCO 대비 성능이 가장 높습니다. ​ 특히 가속기를 대략 6년 단위로 운용한다고 보면 핵심은 결국 추론의 경제학입니다. 모델은 한 번 훈련하고 끝나는 것이 아니라 수년간 계속 서빙되어야 하며, 사용량이 누적될수록 비용의 중심은 추론으로 이동합니다. 이 관점에서 애플이 가장 고지능의 거대 모델인 AFM 3 Cloud Pro를 엔비디아 GPU에 최적화했다는 것은 전체 가속기 TCO 관점에서 가장 비용이 많이 들고 부가가치를 많이 생산하는 모델의 경우 여전히 엔비디아가 가장 좋은 선택지임을 보여준 셈입니다. ​ 추론이 중요한 이유는 단순히 서빙 비용 때문만은 아닙니다. 2024년 9월 o1-preview 이후 test-time compute("Reasoning")이 본격화된 이후로 추론과 훈련의 경계가 이미 흐려져있습니다. 이제는 추론이 곧 훈련이고 훈련이 곧 추론입니다. 여기에 QAT(Quantization Aware Training)와 FP4 조합까지 더해지면서 저정밀도 연산의 이점이 더 큽니다. 엔비디아는 Grace Blackwell부터 FP4를 Native로 지원하고 있지만, 3Q26 양산 예정인 TPU v7, Trainium3까지도 여전히 FP4를 지원하지 않을 예정입니다. 이 때문에 엔비디아는 MoE 모델 추론에 가장 최적화된 칩이라는 지위를 유지하고 있고, 앞으로도 유지할 것으로 예상합니다. ​ 이것도 마찬가지로 <AI 가속기 심화면 : GPU vs TPU, 무엇이 칩을 다르게 만드나 (feat. CPU, ASIC, FPGA> 자료를 보고 나셨다면 이해가 더 잘 되실 내용입니다. 루멘텀(LITE), 비아비(VIAV) ​ 루멘텀LITE는 Overweight을 유지합니다. CY27 PER 30배입니다. 루멘텀 1Q26 실적발표 : 3Q OCS, 4Q CPO, 차례로 점화를 기다리는 고성능 엔진들

'빛💡'의 시대 : 광학 밸류체인 한 눈에 보기 ​ 비아비VIAV는 Overweight을 유지합니다. CY27 PER 27배(Rosenblatt CY27 EPS $2)입니다. 비아비 솔루션스 1Q26 실적발표 : 본격 개화하는 빛의 시대, 물만난 테스트 수요 '빛💡'의 시대 : 광학 밸류체인 한 눈에 보기 전체적으로 Copper and Optics Scale-up, Scale-out의 구리/광학에 대해 잘 정리한 테이블이 있습니다. ​ 원래 Scale-out은 광학을 메인으로 사용하고 있습니다. Scale-up은 구리가 메인이었지만, CY27쯤부터는 엔비디아를 필두로 CPO/NPO가 도입되며 광학이 쓰이기 시작합니다. 아마존은 Trainium과 구글 TPU 전략의 차이에서 전해드렸던 것처럼 'TCO 대비 퍼포먼스' 차원에서 초저비용-중간 정도의 퍼포먼스를 목표로 하는 인프라라서 가장 마지막까지 구리, 가장 마지막까지 Active Rear Door(RDHx), 가장 마지막까지 자체 NIC를 사용하는 기업입니다. 루멘텀 : CPO 지연 노이즈보다 NPO/OCS가 더 중요 ​ 1. SemiAnalysis의 주장 : 협의의 CPO와 800VDC 기대치 조정 SemiAnalysis가 6월 9일 COMPUTEX 26 Taiwan 이후 AI HW 전반에 대해 기관용 리서치를 냈습니다. ​ 핵심은 크게 네 가지입니다. ​ 첫째, 800VDC 도입은 2028년 이후로 밀릴 가능성이 높다고 봤습니다. 이 때문에 WOLF, NVTS 같은 순수 WBG 전력반도체 기업들은 단기적으로 멀티플을 정당화할 추가 콘텐츠 증가 촉매가 부족하다는 판단입니다. 800VDC 도입 지연으로 전력반도체 성장곡선은 시장 기대보다 완만해질 수 있다고 봤습니다. ​ 둘째, CPO 양산시점은 2029년 이후가 될 가능성이 높다고 봤습니다. CY27~CY28 Vera Rubin Ultra용 NVL576에서 Scale-up CPO 스위치 물량이 일부 존재하는 것은 맞지만, GPU-to-GPU 연결이 아니라 NVSwitch-to-NVSwitch 구간에 제한적으로 쓰이는 구조이고 전체 시장의 판도를 바꿀 정도의 물량은 아니라는 해석입니다.