일간보고 : 투자의 생각 (260903)

(1) 오픈AI의 Astra는 모델의 파라미터를 키우는 대신 일부 레이어를 여러 번 통과시켜 토큰당 계산량을 늘리는 방법인 'Recurrent depth'를 사용하고 있습니다. 설계자/엔지니어 입장에서 생각해보면 recurrent depth라고도 하고 좀 더 사용자 입장에서 생각해보면 looped transformer라고 부르곤 합니다. 여기서는 일단 'Recurrent depth'라고 칭하고 이것이 무엇인지 짧게 정리해봅니다: 원래도 GB300 효과로 Astra의 퍼포먼스 개선 효과가 Fable 5 → Fable 5.1보다 크게 나올 것이라고 생각하고 있었는데, 어쩌면 그걸 넘어서 오픈AI가 다시 연구 주도권을 찾는 계기가 될 것으로도 예상해볼 수 있겠습니다.

파라미터가 커지게 됩니다. 이러면 model weight을 저장하기 위한 용량도 많이 필요하며, wideEP를 하면 KV Cache 측면의 효율화가 가능하지만 대신 통신 부담이 늘어납니다. 모델을 설계하는 차원에서 생각해보시면 ⓐcompute ⓑmemory ⓒinterconnect 세 가지 축/요소를 고려하는 상태에서 파레토 최적화를 찾는 일에 가깝습니다. 어느 요소를 효율화하면 어느 요소의 부담이 늘어납니다. Recurrent depth는 24개의 layer를 n번 순환시키는 것입니다. 그럼 실제 저장된 파라미터는 24 layer인데 계산 그래프로는 48 layer를 지난 것과 비슷한 효과가 생깁니다. 이 아이디어 자체는 2025년 7월 14일 <Mixture-of-recursions: Learning dynamic recursive depths for adaptive token-level computation>에서 부각됐던 바 있습니다.

각 토큰이 한 번, 두 번 혹은 그 이상의 depth 순환을 시킬 것인지를 고려할 수 있게 학습시킨 라우터를 추가함으로써 모델 파라미터를 키우지 않고도 모델의 지능을 높일 수 있다는 것입니다. 쉬운 토큰은 한 번만 통과시키고, 어려운 토큰은 정도에 따라 두 번 혹은 그 이상 순환시키는 것입니다. 지금의 LLM Scaling은 ⓐ모델의 파라미터를 키우거나, ⓑ학습 데이터를 더 넣거나, ⓒ추론에서 더 많은 reasoning 토큰을 생성하는 식이었습니다. Recurrent depth는 새로운 축입니다. 파라미터는 그대로 두고 토큰당 compute를 더 많이 쓰게 하는 방식이고 MoE처럼 필요한 토큰에 compute를 선택적으로 더 배분하여 모델의 최고 지능 상한을 키우는 방식(전반적인 지능을 높이려면 어쩔 수 없이 width를 키워야 하기에 파라미터를 키워서 unique layer를 늘려야 함 = 기존 스케일링 법칙은 유효)입니다.

그렇다고 파라미터를 키우는 방식 자체를 대체할 수 있는 것은 아닙니다. 더 정확히 짚으면 looped layer가 unique layer를 대체할 수 있느냐는 것인데 그렇지 않습니다. 이에 대해서는 2026년 4월 22일의 <How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models> 논문에서는 looped layer 1개 = unique layer 0.46개이고, recurrent를 4번을 돌렸다고 가정하면 실제 unique 기준으로는 1.9배 정도의 모델 효과를 냈습니다. 그만큼 컴퓨트 비용이 늘어납니다. 메모리가 부족한 것을 컴퓨트를 늘려서 메울 수 있긴 하지만 대체하는 것은 아닙니다.

The Information은 Recurrent depth라고 해서 "CoT가 사라진다"고 말했는데, 그건 아닙니다. 원래의 transformer도 hidden state는 있습니다. 다만 hidden state를 n번 더 계산할 수 있게 될 뿐입니다. 이를 반복한다고 해서 CoT를 없애는 것이 아닙니다. 상관없습니다. 오픈AI의 수석 과학자인 야쿠브 파초키가 'Astra를 포함한 오픈AI 프론티어 모델들의 computation graph depth는 GPT-4의 2배 이내'라고 밝혔습니다. recurrent depth를 사용하더라도 숨겨진 depth 계산이 그렇게 늘어나는 건 아니라는 의미입니다. 물론 모델의 생각을 모니터링하기가 점점 더 어려워지고 있음은 말했지만 computation graph depth가 똑같다는 말 자체가 Astra가 recurrent depth를 쓴다고 해서 CoT 모니터링하기가 어려워졌다는 인과관계는 틀렸다는 말과 같습니다.

왜 CoT를 보기가 어려워지는가 하면 모델이 점점 더 강화학습을 통해서 발전하고 있기 때문입니다. 실제 문제 해결에 유리하고 더 효율적인 내부적인 컴퓨팅과 사람이 읽기 좋은 reasoning은 분리될 수밖에 없고 CoT 자체도 생각해보시면 모델의 hidden state computation 자체를 보여주는 건 아닙니다. 모델의 지능을 더 고도화하려 할수록 중요한 컴퓨팅은 뒤에서 최대한 많이 끝낸 뒤 아주 짧은 CoT만 출력하는 것이 더 자연스럽습니다. 마무리하면서 Recurrent Depth를 쭉 생각해보다보니, 샘 올트먼이 최근 "연구 속도를 조절하겠다"라고 선언하고 있는 것이 '우리가 연구 주도권을 되찾았다'는 말과 같은 뉘앙스인 듯 합니다.

벤치마크 수준을 살펴보면 코딩에서는 GPT-5.6 Sol과 Opus 5 대비 경쟁력이 꽤 많이 낮습니다. 중국 내에서도 Tier 2 AI Labs권입니다. 구글 Gemini 3.8 Flash가 출시됐습니다 *첨부자료 2* 최근에는 Terminal-bench 4.0을 기준으로 하는 비교가 중요한데 Sonnet 5보다는 우수한 모델입니다. 메타 Muse Spark 1.3이 출시됐습니다 *첨부자료 3* 잠깐 헷갈려서 Terminal-bench 2.1인 걸 모르고 '드디어 MSL이 해냈나' 싶었는데, 여기도 예전에 쓰던 벤치마크들을 기준으로 비교한 것이라서 정확한 비교는 아닙니다. 다른 벤치들도 더 나와봐야 진짜 Muse Spark 1.3이 어느 정도인지를 알 것 같습니다.

모델 출시와 관련해서 몇 가지 생각을 정리해보면: (ㄱ) 상대적으로 모델에 자신이 없으면 민낯을 가리려고 예전 벤치마크를 쓰는 경우가 많습니다. 그리고 (ㄴ) 상대적으로 자신 있으면 가장 핫하고 많이 인용하는 벤치마크부터 맨 위에 대문으로 걸어두는 경우가 많습니다. 그리고 (ㄷ) 정말 훌륭한 모델이 나오기 전에 그걸 며칠 앞두고 지금 '잠깐이라도 내가 우세했음!'을 말하려고 신규 모델들이 잔뜩 출시되는 경우가 많습니다(Fable 5.1, Qwen-3.8-0902, Gemini 3.8 Flash, Muse Spark 1.3). (ㄹ) 아니면 진짜 좋은 모델이 나오고 나서 마지막에 좀 더 짜내서 벤치마크 좋게 만든다음 출시해야지 하고 모델 출시를 살짝 미루는 경우도 있습니다(Grok 4.7).

DRAM 가격은 기존 conventional DRAM 3Q26 QoQ +8~13% 예상이었는데 → 9월 초 기준으로 이제는 3Q26 conventional DRAM QoQ +13~18% / HBM Blended ASP QoQ +8~13%으로 상향됐습니다. NAND는 3Q26 QoQ +8~13% → 9월 초 기준 3Q26 QoQ +10~15%로 상향됐습니다. 메모리가 시스템 수준의 차별화 요소로 부각되고 있습니다. AI 성능은 점점 더 컴퓨팅보다는 메모리에 의해 제약받고 있는 상황입니다. 모델이 커지고, Agentic AI를 채택하며, 컨텍스트 윈도우가 커지는 환경으로 하여금 메모리 대역폭, 메모리 용량, Latency의 중요성을 높이며 tokens/watt, tokens/$가 더 중요한 지표가 되고 있습니다.

AI 시스템이 SRAM, HBM, DRAM, CXL, Flash 등 이종 메모리 계층을 채택하다보니 상호연결 및 제어 복잡성이 드라마틱하게 증가하고 있습니다. 구글과 메타는 CXL을 활용해 레거시 DDR4의 수명을 연장하는 중입니다. NAND의 역할이 AI memory hierarch상 더 상위로 이동하고 있습니다. 고속 NAND, High-IOPS SSD, HBF는 컴퓨트에 더 가까워지면서 KV Cache, model weight를 더 직접적으로 처리하는 티어로 이동 중입니다. 전통적인 스토리지를 넘어서 새로운 티어로 이동하는 과정입니다.

흥미로운 건 세계 최대/최고의 InP 파운드리이자 최고의 기술력을 가진 루멘텀이 Scale-up에서 VCSEL을 강조하기 시작했다는 것입니다: InP나 TFLN처럼 더 빠르고 더 멀리가는 광학 기술보다, Scale-up은 대량생산, 전력, 신뢰성, 집적밀도가 중요하니 현재 기준으로는 VCSEL과 SiPh가 상대적으로 유리한데 멀리 보자면 새로운 광학 기술이 필요하다는 것이 전체 주장입니다. VCSEL은 짧은 거리용 기술입니다. 그런데 Scale-up 네트워크에서는 아주 짧은 거리 + 엄청나게 많은 연결 + 매우 낮은 전력 + 높은 신뢰성 + 높은 포트 밀도라는 특성상 기존의 Scale-out에서의 가치제안과 달라지다보니 VCSEL의 장점을 살릴 수 있는 것입니다.

1개의 광원이 엄청난 대역폭을 혼자 감당해야 하면(InP/SiPh 기반 싱글모드 트랜시버) InP/TFLN 같은 고성능이 필요하지만 VCSEL를 병렬로 많이 붙이면 개별 VCSEL 속도는 느려도 전체 대역폭은 충분히 확보할 수 있습니다. VCSEL의 장점은 대량생산 경험에서 나옵니다. 스마트폰 Face ID 같은 3D Sensing 시장에서 VCSEL을 썼던 것만큼 대량생산 및 배포 경험이 있는 기술은 없습니다. 이미 검증된 기술이니 양산 경험, 수율, 공급망, 신뢰도 면에서 장점이 많습니다. SiPh는 균형잡히긴 했는데 실리콘에서 레이저를 만들 수 없으니 결국 InP로 만든 외부 레이저(ELS)를 붙여야 합니다.

핵심은 fast VCSEL이 아니라 slow-and-wide VCSEL CPO/NPO 구현입니다. VCSEL 하나를 200G/lane 이상으로 무리하게 고속화하는 대신 32~64G NRZ lane을 수십 개 병렬로 배치해 필요한 총 대역폭을 확보하는 구조입니다. 만약 Scale-up에서 VCSEL CPO가 모멘텀을 얻게 되면 GaAs쪽 밸류체인도 한 번 봐야겠다 싶습니다. 이렇게 되면 동일한 총 대역폭을 구현하기 위해 필요한 광학 링크의 수가 크게 늘어나기 때문에 Fiber, Photodiode뿐 아니라 각각의 lane을 구동하고 수신하는 Laser Driver와 TIA의 채널 수도 증가합니다.

횡보를 뚫는 기준은 MoM 기준 20% 이상의 성장세를 1주간 유지하는가입니다. 오늘 주간 기준 -0.08%, 월간 기준 +2.24% 수준입니다. 지금은 Crypto Pair Trading(e.g. BTC/USDC, ETH/USDC 등)을 위한 예탁금으로 인해서 USDC 유통량이 바뀌는 게 가장 큽니다. 그래서 크립토가 오르면 USDC 유통량이 일시적으로 오르고 합니다. 아직 스테이블코인 결제가 더 쓰인다거나 하는 요소로 펀더멘탈이 바뀌는 것은 아닙니다.