일간보고 : 투자의 생각 (260326)

그동안 EPS는 워낙 많이 올라있는데 지수 기준 주가는 횡보 내지는 하락했기 때문입니다. Market Breadth가 얕은 상태에서의 상승을 보이고 있었다보니, AI HW 중에서 메모리와 광학 위주로 몰려서 상승했던 것들을 제외하면 대부분의 주식은 약간씩 하락하던 추세인 게 자연스럽습니다. 미국주식 전체로 보자면 성장성 대비 밸류가 매력적인 때입니다. ​ (2) 애플과 구글의 AI 파트너십은 생각보다 여러 가지 계약을 포함하고 있습니다: 애플은 자사 데이터센터에서 굴리는 제미나이 모델에 대해 완전한 접근 권한을 갖고 있습니다. 제미나이를 가져다가 distillation용으로 사용할 수도 있습니다. 특정 사용 사례에 맞는 모델을 만들거나, 기기에서 서 로컬로 실행될 수 있을 만큼의 소형 모델을 만드는 식입니다. 다만 distillation을 한다고 하더라도 이것도 파운데이션 모델 자체를 잘 만들어야 잘 할 수 있는 것이지, 지금처럼 모델을 빌드한 경험들이 없는 상태에서 좋은 소형 모델을 만들 수는 없을 거라 생각합니다.

오픈AI IP를 갖고 있고 GPT를 API 비용 지불없이 자체 GPU 가동비용만 내고 무료로 돌릴 수 있는 마이크로소프트에서도 유의미한 모델이 안 나오고 있는 것을 생각해보시면 됩니다. ​ (3) 메타 관련 짤막한 보도들도 나왔습니다: 메타가 중소기업들의 AI 도입 촉진을 위해서 Meta Small Business를 출시했습니다. 메타가 회사 전반에 걸쳐서 수백 명의 직원을 해고할 예정입니다. 4Q25 기준 7만 8천 명의 직원 중에서 수백 명이므로 감원 규모가 많진 않습니다. AI HW: ​ (1) 최근 KV Cache 압축에 대한 시장의 관심도가 높습니다: 펀더멘탈상 영향이 있을 이슈는 아닙니다. 두 가지 생각을 남기시면 될 것 같습니다: ⓐ시장이'메모리 수요가 지금처럼 높은 상태를 유지할 수 있을까'에 대해서 많은 관심을 보이고 있구나, ⓑ플레이어들이 '다들 많이 담아둔 상태에서 차익실현 빌미를 찾고 싶어하는 상태였구나' 정도입니다. "사람들이 몰라서 그렇다"라고 보면 스트레스를 많이 받습니다.

시계열을 얼마로 잡느냐의 차이는 있겠으나 시차를 두고 주가는 높은 확률로 펀더멘탈을 따라갑니다. 물론 펀더멘탈이 앵커링 없이 판단한 것이 맞느냐를 늘 되묻는 과정이 가장 고통스러운 고민입니다. 엔비디아 KVTC에 대한 생각은 이번 주 주간전략보고에 남겨드린 바 있습니다. 여기에서 좀 더 강조드리고 싶은 맥락은 Bird's-eye view를 유지하시는 게 좋다는 것입니다. 고민한 흔적이 다 깊이로 남습니다. 펀드가 아니면 기본적으로는 여러분들이 운전석에 앉아 계시기 때문에 고민은 직접해보셔야 합니다. 기본적으로는 늘 2012년 AlexNet을 통해 AI/ML의 시대가 개화한 이후 (ㄱ) 컴퓨팅 성능 개선을 통한 FLOPS 향상 x (ㄴ) 알고리즘 최적화를 통한 효율 향상을 통해서 발전해온 역사입니다. 현 시대의 AI 컴퓨팅이라는 건 결국 로직-메모리, 하드웨어-소프트웨어-네트워킹 조합을 통해서 어디에서 병목을 해결해줄 것인가를 두고 파레토 프론티어 최적점을 찾아나가는 과정입니다. 암달의 법칙처럼 한쪽의 병목을 해결하여 10x 모먼트를 발견한다고 하더라도 다른 쪽에서 새로운 병목이 생기고, 또 해결하고 그런 것의 반복입니다.

"KV Cache"라는 것 자체도 로직(GPU)에서의 연산 병목을 줄이기 위해서 메모리에서 병목을 해결해주는 방법으로 나왔던 것입니다. Chatbot → Reasoning → Agentic AI로 넘어가는 과정에서 CoT의 길이가 길어지면서 추론당 요구하는 컨텍스트 메모리 규모(KV Cache)가 훨씬 커졌습니다. 침투율이 높아지며 사용자, 사용량이 증가하는 것 말고, 한 번의 쿼리당 생각하는 토큰의 양이 10배 이상씩 많아집니다. 그런데 하나의 서버, 하나의 도메인(노드)에서 처리할 수 있는 토큰의 throughput은 정해져 있습니다(물론 이것도 시계열을 넣어서 보면 계속 알고리즘 효율이 높아지며 토큰 throughput은 계속 많아집니다). 그러면 서버당 서비스할 수 있는 사용자의 수(interactivity)를 줄이게 되어 있습니다. 그냥 러프한 숫자들로, 예를 들어 Chatbot으로만 쓸 때에는 원래는 HGX H100 8-GPU 서버 1개에서 초당 토큰 출력량이 10만 개일 때 이를 1,000 token/user/s로 두고 100명에게 서비스했다면 → Reasoning으로 가면서는 CoT도 결국 token 사용이기 때문에 사용량이 평균 10배 증가한다고 하면 같은 HGX H100 8-GPU 서버 기준 10,000 token/user/s로 10명에게 서비스할 수 있습니다.

"KV Cache"라는 것 자체도 로직(GPU)에서의 연산 병목을 줄이기 위해서 메모리에서 병목을 해결해주는 방법으로 나왔던 것입니다. Chatbot → Reasoning → Agentic AI로 넘어가는 과정에서 CoT의 길이가 길어지면서 추론당 요구하는 컨텍스트 메모리 규모(KV Cache)가 훨씬 커졌습니다. 침투율이 높아지며 사용자, 사용량이 증가하는 것 말고, 한 번의 쿼리당 생각하는 토큰의 양이 10배 이상씩 많아집니다. 그런데 하나의 서버, 하나의 도메인(노드)에서 처리할 수 있는 토큰의 throughput은 정해져 있습니다(물론 이것도 시계열을 넣어서 보면 계속 알고리즘 효율이 높아지며 토큰 throughput은 계속 많아집니다). 그러면 서버당 서비스할 수 있는 사용자의 수(interactivity)를 줄이게 되어 있습니다. 그냥 러프한 숫자들로, 예를 들어 Chatbot으로만 쓸 때에는 원래는 HGX H100 8-GPU 서버 1개에서 초당 토큰 출력량이 10만 개일 때 이를 1,000 token/user/s로 두고 100명에게 서비스했다면 → Reasoning으로 가면서는 CoT도 결국 token 사용이기 때문에 사용량이 평균 10배 증가한다고 하면 같은 HGX H100 8-GPU 서버 기준 10,000 token/user/s로 10명에게 서비스할 수 있습니다.

이렇게 해야 같은 latency로 서비스를 받게 될 것입니다. 그렇다면 문제는 이 경우 원래 대략 $300K를 주고 HGX H100 8-GPU 서버 1개를 사와서 백만 토큰당 $5.0에 100명에게 서비스해서 돈을 받다가, 10명한테만 서비스할 수 있게 되니 매출과 마진을 고려하자면 몇 가지 선택을 할 수 있습니다. ⓐ그대로 백만 토큰당 가격을 $50으로 10배 높일 것인가 ⓑ사용자들이 불만을 최소화할 정도로 latency를 낮춰서 5,000 token/user/s로 하면 20명에게 서비스할 수 있으니 이렇게 하고 백만 토큰당 가격을 $25로 5배 높일 것인가 등등입니다. 초당 더 많은 토큰을 출력받느냐 그렇지 않느냐는 Free 요금제 사용자들의 ChatGPT Plus, Pro 구독전환율과 밀접하게 관련이 있기에 외연 확장 혹은 구독전환 등의 다양한 제한적인 환경에서 파레토 프론티어 최적점을 그때그때 잘 찾는 게 중요합니다. 초기 세팅은 이렇게 하겠지만, 줄곧 알고리즘 효율을 높이고 H100 → GB200 NVL72로 추론 HW 세팅을 옮겨가면서 점차 같은 서버 기준 TPS/user를 높입니다.

그러다가 2025년 9월쯤부터는 Agentic AI 수요가 크게 증가하기 시작했습니다. KV Cache 사용량이 Reasoning에 비해서 또 한 번 10배 증가하는 국면이 된 것입니다. 원래 신제품이 나올 때마다 메모리 용량도 높이고 대역폭을 높여왔는데 이런 발전 속도가 일종의 Scale-up적인 발전 방향이라면, Agentic AI 수요가 높아지면서 scale-out적인 발전으로 GPU-HBM(G1)과 최대한 가까이에 더 많은 DRAM(G2)을 붙이려고 서버당 더 많은 DRAM을 탑재했던 것입니다. 이전까지는 KV Cache를 그때그때 그냥 연산해서 쓰게끔 했는데, KV Cache 사용량이 하도 많아지니 재연산으로 인한 병목이 길어졌고, G1를 넘어서 G2, G3, G4까지 가는 Latency penalty도 부각되기 시작했었습니다. 그러자 이제는 KV Cache를 더 많이 저장해놓고 재연산하지 않고 조회(lookup)해서 가져오는 게 훨씬 더 저렴한 게 됐습니다.

DeepSeek의 Engram 논문이 바로 이런 방향이었습니다. KV Cache hit rate를 높이려는 연구들입니다. 그러면서 읽고 쓰는 게 상대적으로 빠른 고성능 eSSD들까지도 가져다가 KV Cache hit rate를 높이기 위해서 저장용으로 쓰이고 있습니다. KV Cache 재연산의 필요성을 없애는 것이 GPU MFU를 높일 수 있는 방향이기도 하므로 실질적으로 하이퍼스케일러/AI Labs 입장에서는 퍼포먼스를 크게 높이는 길입니다. 이제 Agentic AI의 침투율은 기껏해야 1~3% 정도일 것입니다(의외로 GPT-5가 나오기 전까지 ChatGPT Plus 사용자들도 7%만 Reasoning 모델을 사용했었고, 무료 사용자는 1% 미만이 사용했습니다). Claude Code, Codex ARR이 매월 50%~100%씩 성장하는 트렌드인 것을 생각해보면 앞으로 여전히 10x 모먼트가 끝나지 않았다는 의미입니다. 토큰당 지능 압축도를 높이는 건 더 많은 FLOPS/파라미터/데이터로 pre-training run을 돌리는 것이므로 아직 Agentic AI의 가장 가파른 S-curve는 시작하지 않은 셈입니다.

Reasoning의 시작은 2024년 9월~2025년 1월이었지만 본격적 침투는 2025년 2월~2025년 8월이었습니다. 그때가 CSP들이 수요-공급 초과를 호소하기 시작하고 CapEx가 줄상향됐던 시기입니다. ​ (2) 위의 1번에는 쭉 KVTC, TurboQuant에 대한 논문을 다시 살펴보고나서 남긴 생각부터 정리드린 것이고, 구글이 2025년 4월 28일에 발표했던 TurboQuant에 대해서 살펴보면 이렇습니다: 몇 가지 먼저 고려하실 현실적인 부분은 : ⓐTurboQuant는 2025년 4월 28일에 공개한 자료입니다. ⓑ대부분의 경우 AI Labs들이 폐쇄소스로 운영하고 있고 워낙 큰 금액을 놓고 경쟁 중이기에 당연히 핵심 알고리즘에 대해서는 공개하지 않습니다. 오픈소스 진영이 새롭게 뜯어보는 중이지만 이들은 메인 구매자가 아니고, 컴퓨팅 메인 구매자인 하이퍼스케일러/AI Labs 입장에서는 이미 알고 있던 내용입니다.

이미 업계는 엔비디아 주도로 FP8 KV Cache를 쓰고 있고, NVFP4로의 전환도 적극 추진 중입니다. ⓒ해당 자료가 공개되고 나서도 로직 반도체 가까이에 더 많은 DRAM을 넣으려고 했던 것이고, 모두가 그러다보니 P 상승도 나왔지만 여전히 업계는 DRAM 수요가 공급을 초과하는 상태에 놓여 있습니다. 플레이어들이 같은 양의 퍼포먼스를 낼 수 있는 더 적은 예산을 택하는 것이 아니라, 같은 예산으로 더 높은 퍼포먼스를 내길 택하고 있다는 것을 매우 짧게 줄인 것이 '제번스의 역설'입니다. KV Cache를 압축할 때에는 데이터 크기를 줄이는 것을 넘어서, 압축 후에 복원했을 때에 내적 값이 원래의 값과 거의 동일하게 유지되어야 합니다. 이것을 위해서 TurboQuant는 몇 가지 과정들(랜덤회전, 양자화, 1-bit 보정)을 거쳐서 내적 값과 거의 비슷한 정도를 유지하면서 KV Cache를 압축할 수 있도록 만들었습니다.

실시간 처리가 가능하고 가속기 친화적으로 설계됐습니다. 적용하기가 쉽습니다. 실무자들의 얘기를 보면, 랜덤회전 작업의 병목 커서 실제로 Agentic AI 워크로드에 전면 적용이 될 것 같진 않습니다. 2,000 토큰 이하의 컨텍스트에서는 괜찮은데, 컨텍스트가 길어질수록 결국 랜덤회전 과정에 드는 부하가 커져서 컨텍스트가 2배가 될 때마다 속도가 2~7%씩 느려집니다. 논문에는 짧거나 중간 정도의 컨텍스트에서만 썼는데 397B 규모의 거대 모델을 돌려봤더니 몇 시간 만에 긴 컨텍스트에서 속도 저하가 두드러졌습니다. 요약하면 TurboQuant는 메모리가 부족해서 성능을 희생하는 대신 KV Cache를 더 많이 압축시키고 싶을 때에는 적절하지만, 메모리는 이미 충분히 확보한 상태인데 퍼포먼스만 높이고 싶을 때에는 생각보다 랜덤회전 과정에서 생기는 병목만 더해질 뿐입니다. 로컬 LLM을 굴릴 때는 같은 용량의 메모리당 더 많이 KV Cache를 가질테니 좋겠지만, 하이퍼스케일러/AI Labs는 상대적으로 메모리는 이미 충분하게 갖춘 상태이기 때문에 성능향상엔 생각보다 도움이 덜 된다는 의미입니다.

​ (3) 목적 자체는 Engram, CMX, Dynamo, KVTC, TurboQuant, LPX 등등 다 비슷한 결입니다. Chatbot/Reasoning을 넘어서 사용 사례의 평균값이 Agentic AI로 넘어감에 있어서 워낙 많은 연산과 KV Cache 보관, 전송이 필요하게 되니 이것들을 어떻게 분산해서 각각의 파츠에서 해결할 수 있을까입니다. KV Cache를 손실을 최소화하면서 더 많이 압축하려 하고, 더 가까이 KV Cache를 보관해두어 G1~G2~G3~G4로 이동할 때 생기는 latency penalty를 최소화하려 하며, 모델이 KV Cache를 재연산하지 않고 더 빠르게 토큰을 생성할 수 있게끔 cache hit rate를 높이기 위해 노력하는 방향입니다. 그리고 지금 나오는 KV Cache 효율화들이 실제 힘을 강력하게 발휘하는 지점들은 Reasoning처럼 단일 혹은 3개 정도의 모델이 단일/병렬 추론하는 환경이 아니라 멀티 에이전트 환경입니다.

​ (3) 목적 자체는 Engram, CMX, Dynamo, KVTC, TurboQuant, LPX 등등 다 비슷한 결입니다. Chatbot/Reasoning을 넘어서 사용 사례의 평균값이 Agentic AI로 넘어감에 있어서 워낙 많은 연산과 KV Cache 보관, 전송이 필요하게 되니 이것들을 어떻게 분산해서 각각의 파츠에서 해결할 수 있을까입니다. KV Cache를 손실을 최소화하면서 더 많이 압축하려 하고, 더 가까이 KV Cache를 보관해두어 G1~G2~G3~G4로 이동할 때 생기는 latency penalty를 최소화하려 하며, 모델이 KV Cache를 재연산하지 않고 더 빠르게 토큰을 생성할 수 있게끔 cache hit rate를 높이기 위해 노력하는 방향입니다. 그리고 지금 나오는 KV Cache 효율화들이 실제 힘을 강력하게 발휘하는 지점들은 Reasoning처럼 단일 혹은 3개 정도의 모델이 단일/병렬 추론하는 환경이 아니라 멀티 에이전트 환경입니다.

멀티 에이전트로 가게 되면 같은 성능에 효율을 높이기 위해서 Planning 및 Orchestration은 거대모델(Opus, GPT-xhigh)이 하고, 코드 생성처럼 각각 기능에 초점을 맞춘 작업들은 소형모델(Sonnet/Haiku, GPT-mini/GPT-nano)이 하는 구조가 기본입니다. 그러면 에이전트들끼리 서로 커뮤니케이션하고, 이력을 공유하며, 수정하는 루프를 할 때마다 컨텍스트가 이전보다 훨씬 더 크게 증가합니다. 이 과정에서 엄청난 양의 KV Cache가 나오긴 하지만, 이들은 매우 좁고 명확한 작업(task-specific)을 수행하기에 높은 해상도의 문맥을 필요로 하는 것이 아니므로 보다 적극적인 압축을 걸어도 결과물의 퀄리티에는 큰 영향을 주지 않을 것입니다. ​ (4) 샌디스크, 키옥시아, 솔리다임, 시스코가 난야 테크에 3자 배정 유상증자를 발표했습니다. 샌디스크 : 보통주 138,685,000주를 주당 NT$223.9에 인수

​ (5) TrendForce DRAM, NAND 현물가들은 보합세를 유지 중입니다. 3월 계약 가격이 유지되고 있고, 현물가격이 이미 계약가격보다 높은 상태에서 거래되고 있습니다. 4월에는 다시 계약가격이 상승하면 현물 가격 추이가 어떻게 되는지 계속 지켜볼 일입니다. ​ (6) GF증권이 TPU 출하량 전망치를 CY26 450만 개 → CY27 790만 개로 예상했습니다. 원래 CY27 600만 개였음을 감안하면 30% 정도 추가 상향한 것입니다. 브로드컴이 설계한 TPU 출하량은 CY26 410만 개/CY27 580만 개일 것으로 전망했습니다. 메타의 MTIA 출하량 전망치는 CY26 30만 개/CY27 50만 개로 최근 지속 하향 중입니다. ​ (7) AI HW 섹터 내의 기업들 EPS는 꾸준히 같이 좋아지고 있었는데, 어디로 모멘텀이 옮겨다니고 있는가를 생각하자면 메모리가 둔화될 때 GPU, CPU 등 로직 쪽이 부각받을 수 있다는 생각은 가볍게 하고 있습니다.

​ (5) TrendForce DRAM, NAND 현물가들은 보합세를 유지 중입니다. 3월 계약 가격이 유지되고 있고, 현물가격이 이미 계약가격보다 높은 상태에서 거래되고 있습니다. 4월에는 다시 계약가격이 상승하면 현물 가격 추이가 어떻게 되는지 계속 지켜볼 일입니다. ​ (6) GF증권이 TPU 출하량 전망치를 CY26 450만 개 → CY27 790만 개로 예상했습니다. 원래 CY27 600만 개였음을 감안하면 30% 정도 추가 상향한 것입니다. 브로드컴이 설계한 TPU 출하량은 CY26 410만 개/CY27 580만 개일 것으로 전망했습니다. 메타의 MTIA 출하량 전망치는 CY26 30만 개/CY27 50만 개로 최근 지속 하향 중입니다. ​ (7) AI HW 섹터 내의 기업들 EPS는 꾸준히 같이 좋아지고 있었는데, 어디로 모멘텀이 옮겨다니고 있는가를 생각하자면 메모리가 둔화될 때 GPU, CPU 등 로직 쪽이 부각받을 수 있다는 생각은 가볍게 하고 있습니다.

배관공, 전기공 등 숙련 노동인력 부족을 느끼고 있다. 이제 NIMBY(Not-In-My-Back-Yard)를 넘어서, BANANA(Build-Absolutely-Nothing-Anywhere-Near-Anyone)으로 향하고 있고, 동네마다 전력가격 상승을 이유로 짚으며 데이터센터 건설 금지 요구가 점점 더 강해지고 있다. BYOP(Bring-Your-Own-Power)는 주로 천연가스에 의존하기에 천연가스 파이프라인 중단 위험을 고려할 때 어떻게 BTM 발전이 99.999%(five 9's)를 유지할 수 있을 것인가에 대해서 중요한 과제가 있었는데, BYOP 관련 패널 토론에서 대부분의 전문가가 현재 많은 수의 BYOP 프로젝트에서 99.9%(three 9's)만을 목표로 하고 있다고 말했습니다. five 9's를 하기 위해서 드는 추가비용이 너무 많아서입니다.

광고/이커머스: ​ (1) S&P 500 기업들의 Forward P/E가 낮음을 느끼는 건 엔비디아, 이커머스 기업들, 피겨테크 등을 보면 비슷하게 이미 느끼고 있긴 합니다. 의료기기/핀테크/코인: ​ (1) 오늘 트랜스메딕스의 1Q26 누적 비행은 2385건입니다. 오늘의 일간 비행데이터는 +34건입니다. 1Q는 84일이 지났으며 일평균 비행속도는 28.40건 속도입니다. 최근 비행 데이터 성장세는 미적지근한 상태라서 좋진 않습니다. 4Q25 실적발표에 대한 생각은 3월 2일 주간전략보고에 있습니다. ​ (2) 오늘의 서클 USDC 유통량은 $78.69B, CCTP 전송량은 30일 기준 $13.0B입니다. USDC 유통량 자체는 29주간 횡보 중입니다. 횡보를 뚫는 기준은 MoM 기준 20% 이상의 성장세를 1주간 유지하는가입니다.

오늘 주간 기준 -1.17%, 월간 기준 +5.68% 수준입니다. ​ (3) 오늘 피겨 테크의 ⓐHELOC 발행량 방향을 알 수 있는 Provenance TVL 볼륨은 $1.55B입니다. 계단식으로 상승하곤 했기에 매일 살펴볼 지표는 아닙니다만 트래킹 차원입니다. ⓑFigure Markets가 잘 돌아가고 있는지를 파악할 수 있는 YLDS 유통량 $583M입니다. 마찬가지로 계단식으로 상승하곤 했기에 매일 살펴볼 지표는 아닙니다만 트래킹 차원입니다. 저희의 생각을 담아서 랩을 운용하고 있습니다 메리츠증권 : https://naver.me/xQiZ5UHt SK증권 : https://naver.me/FlcOtVGm

오늘 주간 기준 -1.17%, 월간 기준 +5.68% 수준입니다. ​ (3) 오늘 피겨 테크의 ⓐHELOC 발행량 방향을 알 수 있는 Provenance TVL 볼륨은 $1.55B입니다. 계단식으로 상승하곤 했기에 매일 살펴볼 지표는 아닙니다만 트래킹 차원입니다. ⓑFigure Markets가 잘 돌아가고 있는지를 파악할 수 있는 YLDS 유통량 $583M입니다. 마찬가지로 계단식으로 상승하곤 했기에 매일 살펴볼 지표는 아닙니다만 트래킹 차원입니다. 저희의 생각을 담아서 랩을 운용하고 있습니다 메리츠증권 : https://naver.me/xQiZ5UHt SK증권 : https://naver.me/FlcOtVGm