Cerebras : GPT-5.6 과 시작되는 빠른 추론의 시대 / OpenAI 할라피뇨 리뷰 : 모래주머니 차고 보여 준 성능

Riverston Networks 는 통신 사업자용 이더넷 스위치 / 라우터 업체였는데 여기서 창업에서 IPO 까지의 과정을 배웠고 컴퓨팅 병목이 CPU, 메모리 와 같은 자원 뿐만 아니라 네트워크 장비에서도 병목이 발생한다는 것을 이해 Force10 Networks 는 데이터 센터용 고성능 이더넷 스위치 기업이었는데 여기서 고객들이 서버의 연산 성능도 중요하지만 전력 소비와 공간 효율도 원한다는 것을 이해 이에 SeaMicro 라는 효율성에 중점을 둔 서버 기업을 창업 SeaMicro 는 당시까지 서버들이 고성능, 고전력 CPU 중심으로 서버를 판매해오던 것과 달리 저전력 CPU 들을 수 백개 탑재한 서버로 많은 반도체들이 병렬적으로 처리할 때 유리한 소프트웨어들 (웹검색, 웹컨텐츠 제공, 클라우드 등) 처리하는 시장을 공략함 핵심 기술은 Freedom Fabric 이라는 기술이었는데 지금의 AI 가속기들의 Scale Up 기술과 유사하게 CPU 들을 하나의 거대한 시스템 처럼 묶어주는 기술이었음 Freedom Fabric 기술 SeaMicro 서버는 Freedom Fabric 기술을 사용해서 서버 60대로 조립해야할 것을 CPU 와 메모리만 있는 작은 보드 60개를 한 서버 섀시에 넣고 Freedom Fabric ASIC 이라는 별도의 자체 ASIC 을 사용하여 CPU 60개가 하나의 시스템처럼 작동하도록 연결하였음 지금 Nvidia 의 NV Link 의 CPU 버전의 기술 다만, 당시 기술의 한계가 있었기 때문에 이렇게 병렬로 묶는 CPU 들은 저전력 저성능 CPU 들에 한정되었고 NV Link 기술처럼 주류가 되지는 못하였음 아무튼, Scale-Up 기술이 유명해진 지금보다 10년도 더 전에 GPU 도 아닌 CPU 에서 Cerebras 창업자들은 구현을 하였고 이 기술을 AMD 에 판매하며 AMD 데이터 센터 사업부에 들어갔음 Freedom Fabric 기술을 언급한 이유는 결국 반도체 한 개의 성능으로 승부를 보는 시대보다 수많은 반도체들을 네트워크로 연결하여 마치 하나의 시스템처럼 동작하도록 하는 기술의 중요성을 Cerebras 창업자들은 이미 2010년 전후에 깨닫고 있었던 것 Cerebras 는 네트워크 로 연결하는 것을 더 넘어 반도체가 웨이퍼에서 만들어지고 커팅될 필요없이 웨이퍼에서 이미 연결된 것이 가장 효율적일 것이란 생각에서 시작되었음 결국 반도체들을 연결하는 것의 끝은 웨이퍼에서 이미 연결된 것이라는 사상에서 Cerebras 가 창업되었음 굳이 이 이야기를 말씀드리는 이유는 Scale-Up 기술이 구리선 기반 네트워크에서 광 네트워크로 수렴하는 시점에서 Cerebras 가 다른 반도체 팹리스들과 차별화가 되려면 Scale-up 이 웨이퍼 레벨에서 연결되어 차원이 다른 속도를 보여줄 수 있어야 의미가 있어지기 때문 그래서 Cerebras 의 기술과 경쟁사와의 비교를 볼때도 이러한 관점에서 볼 예정

장점은 지금 가속기 기업들이 제공할 수 없는 추론 속도입니다. 2. Cerebras 주변부 Cerebras 칩의 양 옆에는 I/O 를 위한 파트가 붙습니다. 그리고 대형 웨이퍼 스케일의 칩을 식히기 위한 거대한 전용 방열판이 위에 붙습니다. 그리고 웨이퍼 스케일의 칩은 전력 소모 또한 웨이퍼 스케일로 먹기 때문에 별도의 파워모듈을 칩 아래에 연결해서 전력을 공급하게 됩니다. 전력 변환이 웨이퍼 바로 아래에서 이루어지기 때문에 전력 손실은 오히려 크게 감사합니다. 이러한 구조는 이전 구조 대비 전력, 냉각 용량은 2배로 늘리면서 부품 수는 50% 감소시켰습니다. 덕분에 더 높은 동작 속도로 차세대 칩에서 동작이 가능해졌습니다. 3. CS-4 랙 Cerebras 는 자사만의 특별한 웨이퍼 스케일 칩을 제공하기 때문에 서버 형태도 독특해서 서버 랙 단위로 제공합니다. 컴퓨트, 파워, I/O 3계층 모듈 구조로 되어 있습니다. 새로운 세대의 반도체가 나올 경우 기존의 서버가 모듈형으로 구현되어 있기 때문에 모듈 부분만 교환하여 사용할 수 있습니다. 랙 하나에는 WSE-3 Turbo 3개 가 탑재되어 750 PFLOPS, I/O 7.2 Tb/s, SRAM 대역폭 129.6 PB/s 성능을 내며 랙 전력은 약 120kW에 달합니다. GPT-OSS-120B 기준 유저당 4,400 tok/s 이상, GPU 대비 30배, CS-3 대비 와트당 처리량 10배가 가능합니다. 이러한 강력한 속도를 통해 OpenAI 는 기존보다 훨씬 빠른 GPT 추론 서비스를 내놓기 시작하였습니다. 경쟁사와의 비교 진영 대표 접근법 Cerebras 대비 범용 GPU NVIDIA(서버 GPU 점유율 약 97%), AMD CUDA 생태계 + HBM 압도적 규모·생태계. Cerebras는 속도 니치 Groq LPU NVIDIA가 2025.12 $20B에 자산 인수 LPU, SRAM 기반 최대 직접 경쟁자가 NVIDIA에 흡수됨 모델 고정형 ASIC 전용 Taalas → AMD가 2026.8.6 인수 모델 가중치를 실리콘에 각인 유연성 0, 속도 극단. AMD Helios에 통합 예정 Etched (Sohu) 비상장, 매출 인식 전 벤치마크 3자 검증 부재 하이퍼스케일러 자체칩 Google TPU, AWS Trainium, MS Maia 수직 통합 AWS는 경쟁자이자 파트너 동사의 SRAM 기반 반도체는 학습과 추론 (Prefill, Decode) 모두에서 사용될 수 있지만 장점이 있지만 장점을 갖는 부분은 추론 영역이고 그중에서도 디코드 영역입니다. 경쟁 제품으로는 범용 GPU, 하이퍼 스케일러 ASIC, 모델 고정형 ASIC, Groq LPU 정도가 있습니다.

클라우드 서비스로 제공하게 되면 일반적으로는 이익률을 높이는 비즈니스가 되지만 동사의 경우에는 2개 분기 연속 이익률을 낮추는 요소로 작용하고 있습니다. 왜냐하면 데이터 센터 부지 및 전력이 숏티지로 제대로 확보하지 못해 이를 가지고 있는 기업에게 동사 하드웨어를 팔고 다시 클라우드 서비스로 사온 뒤 이를 고객에게 재판매하는 방식으로 하고 있기 때문입니다. Cerebras 는 이로 인한 이익률 하락은 일단 이번 분기까지 해서 거의 반영되었고 향후 데이터 센터 용량을 확보해나가고 있다고 하고 있습니다. 시장 수요 자체는 좋아 성장률이 폭발적으로 나오고 있기 때문에 데이터 센터 확보를 통해 이익률 하락이 마무리 된다면 긍정적인 요소가 될 것으로 보입니다. ​ Cerebras 의 주요 고객들 연도 최대 고객 비중 2023 G42 83% 2024 상반기 G42 87% 2025 MBZUAI 62% + G42 24% 86% (UAE 2개사) 2026~ OpenAI 중심으로 이동 중 — Cerebras 의 고객은 주로 UAE 였습니다. 하지만 OpenAI 가 새로 고객으로 들어왔고 지금은 정확히 공개되어 있지 않지만 대부분의 실적이 OpenAI 에서 나올 것으로 보입니다. 향후 AWS, AMD 도 주요 고객으로 성장할 것으로 보입니다. 제품 및 서비스 Cerebras System 의 가장 기본이 되는 WSE-3 Turbo, I/O 시스템, 렉스케일 플랫폼 Cerebras 의 제품군은 WSE, I/O, 랙 스케일 제품 크게 3가지로 나누어 볼 수 있습니다. 그리고 모든 것의 시작은 Cerebras 의 웨이퍼를 자르지 않고 통째로 사용하자는 모토에서 시작된 WSE-3 Turbo 에서 시작합니다. WSE 제품군 동사 제품군의 가장 기본이 되는 WSE 계열을 보면 웨이퍼에서 자를 수 있는 거의 최대한의 정사각형 네모난 형태의 거대한 반도체를 볼 수 있습니다. WSE 이라고 불리는 동사의 주력 제품은 세대에 따라 WSE-1, WSE-2, WSE-3, WSE-3 Turbo 라고 불립니다. 3세대 제품인 WSE-3 가 현재 주력 제품이고 마이너 한 업그레이드 제품인 WSE-3 Turbo (최근 공개) 가 3분기부터 출시될 예정입니다. WSE-3 Turbo 사양 트랜지스터 4조 개 AI 코어 90만 개 온웨이퍼 SRAM 44GB AI 연산성능 250 PFLOPS 메모리 대역폭 43.2PB/s 외부 I/O 대역폭 2.4Tbps 엄청나게 빠르게 GPT-5.6을 실행할 수 있는 Cerebras 칩 (출처 : Cerebras) 웨이퍼 하나를 통째로 사용하며 웨이퍼 안에서 연결되어 있기 때문에 트랜지스터 수와 대역폭이 기존의 가속기들과 차원이 다릅니다. 다만, 약점은 비용과 SRAM 용량 제약입니다.

5. 투자 포인트 미개척 빠른 추론 시장 Cerebras 성장의 핵심은 빠른 추론 시장이 얼마나 성장할 것인지 입니다. 지금은 GPT 5.3 Spark 정도에만 제한적으로 적용되어 있지만 AI Agent 에서 빠른 추론이 단축할 수 있는 작업 속도가 굉장히 크다는 것이 밝혀지며 빠른 추론에 대한 지불 의사도 커지고 있습니다. 보수적으로 전망하는 곳에서도 추론 시장의 10% 이상은 빠른 추론 시장이 될 것으로 보고 있기 때문에 지금부터는 빠른 추론 시장이 어떻게 흘러가는지 잘 보아야 합니다. 시장이 아직까지 기대하고 있지 않으면서도 기술적으로 무르익은 하드웨어 부분은 이 부분 정도라고 생각됩니다. 오픈AI 가 Cerebras 로 처음 소개한 빠른 추론 서비스는 GPT-5.3 Codex Spark 입니다. 해당 서비스는 큰 흥행을 하지는 못 했습니다. Codex 에 제한되어서 라기보다는 GPT 5.3 이라는 구형 모델에 제한되었기 때문으로 생각됩니다. 하지만, Cerebras 의 본격적인 도입이라는 측면에서 긍정적이었는데요 지금부터 중요한 이유는 8월 중순부터 가장 프론티어 모델인 GPT-5.6 Sol 모델에 Ultrafast 모드란 이름으로 시험 서비스가 시작되었기 때문입니다. ​ 8월 13일 부터 Cerebras 칩 기반의 GPT-5.6 Sol 추론 서비스가 시험적으로 시작됩니다. 아직 공식 런칭은 아니지만 공식 런칭되고 시장에서 어떤 반응을 얻는지가 Cerebras 에게 굉장히 중요할 것으로 보입니다. 만약 흥행한다면 이미 업무 협약을 맺은 AWS, AMD 에서 도입을 가속화 할 뿐만 아니라 OpenAI 에서도 추가 계약을 할 수 있기 때문입니다. 할라피뇨가 잠재력 높은 칩이기는 하지만 당장 서비스를 지원할 정도로 구축이 되려면 적어도 내년 말은 되어야 합니다. Cerebras 기반으로 작동하는 GPT-5.6 Sol 은 기존 엔비디아 대비 최대 14배 정도 빠를 것으로 보입니다. 채널 체크를 해보면 빠른 추론에 대한 수요가 어느 정도는 있는 것으로 보입니다. 따라서 OpenAI 의 GPT-5.6 Sol 의 Ultrafast 모드가 공식 출시되고 얼마나 인기를 얻는지가 Cerebras 올해 주가에 중요할 것으로 보입니다. ​ 빠른 추론 / Cerebras 수요 조사 주제 조사 내용 에이전틱 추론 비중 증가 > 에이전틱 추론에서 빠른 추론 효과 더 큼 OpenAI 엔터프라이즈 출력 토큰에서 에이전틱 비중이 2025년 8월 0% → 2026년 6월 64% 2026년 4월에는 에이전틱 지출이 ChatGPT 지출 추월 에이전틱 워크로드 구조 5개 에이전틱 벤치마크에서 컨텍스트 캐시 적중률 84.6~99.5% 전체 LLM 실행시간의 91.0~98.6%가 decode

Decode 는 SRAM 기반이 유리한 구조 고객사 실사용 Cerebras가 고객사 AI Assistant 트래픽의 40% 처리 제약이 없으면 80%까지 배정 의향. 현재 지출 약 $1~5M, 1년 내 2배, 1~2년 내 2~3배 예상 가격 지불 의사 경쟁 제공사보다 10~15배 빠름. 동일 모델 기준 가격은 약 30% 비싸지만, 속도를 위해 50~100% 프리미엄 지불 의사 속도 프리미엄 상품화 OpenAI Fast mode는 Standard보다 최대 2.5배 빠르고 가격은 2배. Anthropic도 Fast mode를 통상 가격의 약 2배로 제공 Cerebras 전용 Ultrafast GPT-5.6 Sol을 최대 750 tok/s, Standard 대비 최대 14배 빠르게 제공. 초기 사용사에 Jane Street·Podium·Basis·Rogo 포함 기본적으로 빠른 추론에 대한 평가는 좋으며 이를 위한 프리미엄 지불의사들이 확인되고 있습니다. 비 Nvidia 진영 AWS, AMD, OpenAI 의 선택 - Cerebras 빠른 추론 시장이 개화한다면 수혜주는 1차적으로 당연히 Groq 입니다. SRAM 기반의 고속 가속기는 결국 아직 디코드 영역에 쓰이는데 그러면 Prefill 을 해줄 파트가 같이 있어야 하기 때문입니다. 또한 이미 많이 깔려있는 엔비디아의 인프라와 같이 사용될 수 있기 때문입니다. 하지만, 엔비디아 Groq 이외의 진영에서는 디코드 를 위한 제품이 준비되어 있지 않기 때문에 단기간에서는 Cerebras 와 손잡으려는 노력을 할 것으로 보입니다. 결국 Groq 이 잘 되면 Cerebras 도 잘 될 수 있는 구조라고 생각됩니다. 6. 리스크 할라피뇨 실제 칩 모습 (출처 : OpenAI) 할라피뇨 OpenAI 는 꽤 오래 전부터 자체 반도체 설계에 대한 관심을 나타내왔습니다. 그러던 OpenAI 의 자체 AI 가속기에 대한 구체적인 성능과 정보들이 공개되었습니다. 결론적으로는 경쟁 관계가 아닌 것으로 생각되었던 Cerebras 까지 위협할 수 있는 잠재력을 가지고 있었습니다. 그리고 추론 시장에서 프론티어 AI 랩들은 자체적인 가속기로 충분히 풀스택 역량을 구축할 가능성이 있음이 확인되었습니다. 앤트로픽도 OpenAI 와 같은 길을 걸어갈 수 밖에 없을 것 같습니다. 다만, 당장 벌어질 일은 아니고 2028년부터 유의미하게 영향을 줄 것으로 보입니다. 내년까지는 CoWoS 캐파 제약이 커서 올해까지는 엔비디아 독주 구도 내년은 엔비디아와 TPU 투 톱 구조 2028년부터 엔비디아, TPU 투 톱 속에서 다양한 가속기들의 부상이 예상됩니다. ​ 할라피뇨 현세대 성능 모델 Jalapeño 속도 Peak mixed TPS/kW

비교 GPU GPT‑OSS‑120B 1,459 tok/s/user 85,448 GB200: 535 tok/s DeepSeek R1 670B 700 tok/s/user 19,641 GB300: 169 tok/s Kimi K2.5 1T 694 tok/s/user 18,195 GB300: 182 tok/s 위 표는 할라피뇨 의 성능들과 마지막에 Nvidia GPU 를 비교한 것입니다. 그리고 성능은 3가지 AI 모델들을 기준으로 측정이 되었습니다. GPT-OSS-120B, DeepSeek R1 670B, Kimi K2.5 1T 순으로 점점 더 파라미터 수가 커지는 모델을 처리할 때 성능이 어떻게 달라지는지 보여주는 것입니다. 할라피뇨 속도는 각각의 사용자들에게 초당 몇개의 토큰을 생성해줄 수 있는지를 보여줍니다. TPS/kW 는 단위 전력 소모당 얼마의 토큰 생성을 초당 할 수 있는지를 보여줍니다. 비교 GPU 는 같은 AI 모델을 실행할때 얼마나 더 빠르게 처리할 수 있는지를 보여줍니다. 파라미터 수가 적은 모델부터 많은 모델까지 할라피뇨가 Blackwell GPU 보다 확실하게 더 효율적임을 보여줍니다. 굉장히 선진적인 설계 기법이 들어갔다기 보다 오직 AI 추론, 특히 GPT 추론에 최적화되어 만들어졌기 때문입니다. 오히려 반도체 설계 관점에서는 더 개선된 설계를 적용할 여지가 남아있고 그러기 위한 흔적들이 반도체에 남아있습니다. 만약 그런 설계들이 반영될 경우에는 범용 GPU 들과의 격차가 더 커질 뿐만 아니라 SRAM 기반의 디코드 전용 반도체들마저도 속도면에서 따라잡을 가능성이 생깁니다. 이 부분이 Cerebras 에게 가장 큰 리스크라고 생각됩니다. 왜냐하면 이 다음 리스크에서 설명드릴 SRAM 기반의 AI 가속기는 파운드리 선단 공정을 가도 점점 더 얻을 이득이 적지만 로직 기반의 할라피뇨와 같은 가속기는 파운드리 선단 공정의 이점을 계속 잘 누릴 수 있기 때문에 구조적으로 할라피뇨가 유리한 싸움이기 때문입니다. ​ 할라피뇨 다음이 무서운 이유 미적용·미성숙 요소 기대 효과 신뢰도·주의점 B0 스테핑 perf/W 약 +25% 전부가 tok/s 상승으로 전환되기보다 일부는 전력 절감으로 나타날 수 있음 MTP·speculative decoding 현실적 2~3배, OpenAI 내부 가이던스 3~5배 가장 큰 업사이드. 수락률·모델·배치에 따라 편차가 큼 커널·컴파일러 최적화 full-model 약 +5~25% 추정 선택된 GPT‑OSS 블록은 AI 작성 커널이 기존 대비 1.5~1.8배 빨랐지만 모델 전체 효과는 훨씬 작음 128칩 랙·2,048 XPU 스케일업

이는 부풀린 부분이 있을 수도 있지만 마냥 과장은 아닙니다. 최근 중국 텐센트 연구진들이 수행한 동일한 반도체 내에서 STP 를 MTP 로 전환하는 작업을 할 경우 MTP 설계 능력에 따라 성능 향상 폭이 달라지지만 보수적으로 봐도 2배 이상의 성능 개선은 이루어졌기 때문입니다. 이미 범용 GPU 나 ASIC 들은 이러한 이유 때문에 STP 보다는 MTP 방식을 모두 채용하고 있습니다. 그럼에도 불구하고 할라피뇨가 STP 를 적용한 이유는 첫 세대 제품이기 때문에 비교적 구현하기 쉽고 안정적인 STP 를 통해 안정적인 개발도 하고 STP 적용만으로도 충분히 높은 성능을 구현할 수 있다는 것을 보여주고자 했을 가능성이 있다고 생각됩니다. 의도가 어떻든 오픈AI에서 이번 핫칩스 발표에서 MTP 방식으로 처리되기 위한 소프트웨어 구조를 정확히 설명하였고 이미 상당 부분 구현된 것으로 추정됩니다. 여기에 차세대 할라피뇨에서 MTP 전용 회로까지 들어간다면 MTP 도입을 통한 성능 향상이 클 것이고 이 방향을 향하고 있다는 것을 이번 핫칩스 발표에서 보여주었다고 생각됩니다. 128칩 랙 / 2,048 XPU 스케일업 Scale-up 영역 NVIDIA Rubin OpenAI Jalapeño 랙 내부 72 GPU 128 XPU Multi-rack scale-up 현재 기본 제품은 72 2,048 XPU 칩당 scale-up BW 3.6 TB/s Local 0.6 TB/s 세대 NVIDIA scale-up Jalapeño Blackwell/GB300 72 — Rubin 2026 72 128 local / 2,048 global Rubin Ultra 576 2,048 Nvidia 의 Scale-up 에 비해서 엄청나게 큰 숫자의 반도체들을 스케일업 시스템으로 묶을 수 있게 되었습니다. 스케일 아웃에 비해 스케일업으로 반도체들이 묶이게 되면 하나의 시스템처럼 사용될 수 있고 연결되는 반도체 수 증가에 따른 성능 향상 효율성이 감소하는 문제가 적은 장점이 있습니다. 다만 칩 당 스케일업을 위한 대역폭은 엔비디아가 훨씬 크고 스케일업이 가능한 칩의 수는 할라피뇨가 훨씬 더 높습니다. 이는 오픈AI 가 칩 당 연결될 수 있는 대역폭을 높이는 것보다 최대한 많은 칩들을 연결하는 것을 목표로 하고 있는 것을 알 수 있습니다. 스케일 업은 지금까지 대개 서버 한 개 안에 있는 칩들을 연결하는 것이었고 엔비디아의 NVL 도 서버 하나 안에 있는 반도체들을 대상으로 합니다. 오픈AI 는 이번에 서버 한 개에 있을 수 있는 칩 128개를 연결하는 것 뿐만 아니라 16개의 서버를 연결해서 서버 간에도 스케일 업이 적용될 수 있도록 하였습니다.

2,600 극단적 낙관 OpenAI MTP 5배 × +25% 9,100 4,400 4,300 스케일업 시스템의 장점은 넣을 수는 없지만 B0 단계 반도체 사용과 MTP 적용에 따른 성능 향상 배수를 없는 것 부터 5배까지 나누어 앞서 공개된 숫자에 적용을 하면 향후 차세대 할라피뇨의 성능이 어디까지 좋아질 수 있는지를 가늠할 수 있습니다. 물론 여기에 더해 새로운 공정 도입, 새로운 설계 도입을 하면 더 큰 성능 향상을 이루어낼 수 있습니다. 그리고 스케일업으로 연결되는 ASIC 수를 높일 경우 파라미터가 커질 수록 경쟁사 대비 더 큰 이점을 보여줄 것으로 보입니다. MTP 의 경우 오픈AI는 최소 3배~최대 5배까지 성능 향상을 할 수 있다고 이야기 하고 있습니다. 만약 그렇게 될 경우 SRAM 기반의 디코드 머신까지 포함하더라도 경쟁할 수 있는 추론 반도체는 없을 것으로 보입니다. 논문들이 MTP 적용시 보통 2배 이상 성능 향상을 바텀으로 보기 때문에 2.5배 수준으로 보면 GPT 오픈소스 기준으로 4400 토큰/초/유저당이 나오는데 이는 SRAM 기반의 Cerebras 수준에 버금가는 것입니다. ​ 시간이 할라피뇨 편인 이유 뒤에서 말씀드리겠지만 할라피뇨는 기존 GPU 들처럼 HBM 을 가지고 있는 AI 가속기 구조이기 때문에 위와 같은 토큰 속도가 나온다면 디코트 칩이 별도로 필요 없는 수준이 될 것으로 보입니다. 이러한 강력한 구조 덕분에 오픈AI 는 당장 Prefill 과 Decode 를 나눌 필요 없다고 보고 있습니다. 1세대 할라피뇨의 토큰 생성 속도도 훌륭하지만 향후 남아있는 개선 사항들을 적용하여 토큰 생성 속도가 더 상승할 경우 SRAM 기반의 디코드 전용 반도체들은 크게 필요없을 것으로 보입니다. 특히, SRAM 기반의 시스템은 파운드리에서 물리적 한계를 4나노 이후부터 마주하고 있기 때문에 향후 개선 가능성도 할라피뇨 쪽이 더 유리할 것으로 보입니다. 그럼에도 불구하고 SRAM 기반 시스템을 Groq 이나 Cerebras 가 채택한 것은 엄청난 토큰 생성 속도 덕분인데 할라피뇨가 대단한 잠재력을 보여주고 있어서 지켜보아야 할 것으로 보입니다. 다만, OpenAI 도 할라피뇨가 긍정적인 스토리로만 진행될 것이라고 보지는 않았기에 우선 Cerebras 에게 초기 수주를 주었고 향후 더 큰 수주를 줄 여지를 남겨 놓았습니다. ​ 소결론 거의 모든 반도체 시연 행사는 시연자가 보여주고 싶은 것을 보여줍니다. 하지만 이번 오픈AI 할라피뇨의 경우에는 오히려 모래주머니를 찬 상태에서 시연한 느낌에 가까웠습니다. 오픈AI 가 준비하고 있는 자체 반도체 내재화 계획은 생각보다 엄청 크고 경쟁력 있을 것으로 보입니다.

특히 스케일업 규모가 2048개까지 확장되는 것은 오픈AI 야심이 엄청나게 크다는 것을 보여줍니다. 그리고 설계 개선의 여지도 많이 남은 점은 현재 나와있는 AI 가속기들이 굳이 오픈AI에게 필요없을 가능성이 높다는 것을 보여줍니다. 내년 하반기 할라피뇨가 본격 양산될때부터 오픈AI 가 구글보다 더 풀스택 구조가 견고하게 갖추어진 구조가 가능할 수도 있을 것으로 보이며 앤트로픽도 유사한 경로를 갈 것으로 보입니다. SRAM 기술의 제약 TSMC 공정별 SRAM 사이즈 변화 (출처 : TSMC) 현재 디코드 영역에서 주로 채택되고 있는 Sram 기반의 가속기들은 공통적으로 겪을 수 밖에 없는 치명적인 단점이 있습니다. 그것은 파운드리 산업에서 기술 개발을 가장 잘 하고 있는 TSMC 조차 4나노 이후부터는 SRAM 크기를 더 이상 축소시키지 못하고 있습니다. TSMC 가 계속해서 발전시키고 있는 부분은 로직 파트 이지 SRAM 셀 크기 축소는 아닙니다. 다만, 이는 TSMC 만의 문제는 아니고 인텔, 삼성전자 모두가 겪고 있는 문제입니다. 이는 물리적인 한계 때문인데 로직 파트의 경우 트랜지스터만 작게 만들어도 밀도를 높일 수 있지만 SRAM 의 경우 SRAM 셀 하나를 만드는데 사용되는 트랜지스터 간의 균형, 배선, 전압, 공정 편차 등을 모두 개선시켜야만 되기 때문입니다. SRAM 셀 하나만 불량이나도 치명적이기 때문에 이론적으로 문제가 없는 수준보다 더 여유를 가지고 SRAM 을 만들어야 합니다. 이러한 기술적 어려움 속에서 파운드리 3사의 SRAM 크기는 크게 줄어들지 못하고 있습니다. 문제는 SRAM 의 크기가 줄어들지 못하면 지금 4나노보다 더 선단 공정을 사용하더라도 이득을 볼 수 있는 부분이 로직 뿐인데 그러면 크게 2가지 문제가 생깁니다. SRAM 용량 제약이 SRAM 기반 가속기 중 가장 큰 제약 중 하나인데 선단 공정을 쓰더라도 SRAM 용량을 높이기가 굉장히 어렵습니다. 선단 공정을 사용할 경우 웨이퍼 한 장 가격이나 트랜지스터 개당 가격이나 모두 높아져야하는데 SRAM 크기가 같다면 올라가는 성능 대비 가격이 지나치게 높아져야 합니다. 다른 가속들의 경우 웨이퍼를 사용할때 SRAM 보다는 로직 위주로 사용하기 때문에 (어짜피 메모리는 외부에 달 HBM 이 중심이기 때문에) 선단 공정 사용의 이득이 비용 상승보다 크지만 SRAM 을 크게 달고 가야하는 Cerebras 의 경우에는 이득보다 비용이 더 클 가능성이 높습니다. 이렇게 될 경우 설계 개선 또한 점점 한계가 있기 때문에 SRAM 기반 가속기들의 발전속도가 늦어지고 경쟁 기술 대비 장기적으로 뒤쳐질 수도 있습니다. 7. 번외 할라피뇨로 인한 가속기 시장 격변 예상 연도

특히 스케일업 규모가 2048개까지 확장되는 것은 오픈AI 야심이 엄청나게 크다는 것을 보여줍니다. 그리고 설계 개선의 여지도 많이 남은 점은 현재 나와있는 AI 가속기들이 굳이 오픈AI에게 필요없을 가능성이 높다는 것을 보여줍니다. 내년 하반기 할라피뇨가 본격 양산될때부터 오픈AI 가 구글보다 더 풀스택 구조가 견고하게 갖추어진 구조가 가능할 수도 있을 것으로 보이며 앤트로픽도 유사한 경로를 갈 것으로 보입니다. SRAM 기술의 제약 TSMC 공정별 SRAM 사이즈 변화 (출처 : TSMC) 현재 디코드 영역에서 주로 채택되고 있는 Sram 기반의 가속기들은 공통적으로 겪을 수 밖에 없는 치명적인 단점이 있습니다. 그것은 파운드리 산업에서 기술 개발을 가장 잘 하고 있는 TSMC 조차 4나노 이후부터는 SRAM 크기를 더 이상 축소시키지 못하고 있습니다. TSMC 가 계속해서 발전시키고 있는 부분은 로직 파트 이지 SRAM 셀 크기 축소는 아닙니다. 다만, 이는 TSMC 만의 문제는 아니고 인텔, 삼성전자 모두가 겪고 있는 문제입니다. 이는 물리적인 한계 때문인데 로직 파트의 경우 트랜지스터만 작게 만들어도 밀도를 높일 수 있지만 SRAM 의 경우 SRAM 셀 하나를 만드는데 사용되는 트랜지스터 간의 균형, 배선, 전압, 공정 편차 등을 모두 개선시켜야만 되기 때문입니다. SRAM 셀 하나만 불량이나도 치명적이기 때문에 이론적으로 문제가 없는 수준보다 더 여유를 가지고 SRAM 을 만들어야 합니다. 이러한 기술적 어려움 속에서 파운드리 3사의 SRAM 크기는 크게 줄어들지 못하고 있습니다. 문제는 SRAM 의 크기가 줄어들지 못하면 지금 4나노보다 더 선단 공정을 사용하더라도 이득을 볼 수 있는 부분이 로직 뿐인데 그러면 크게 2가지 문제가 생깁니다. SRAM 용량 제약이 SRAM 기반 가속기 중 가장 큰 제약 중 하나인데 선단 공정을 쓰더라도 SRAM 용량을 높이기가 굉장히 어렵습니다. 선단 공정을 사용할 경우 웨이퍼 한 장 가격이나 트랜지스터 개당 가격이나 모두 높아져야하는데 SRAM 크기가 같다면 올라가는 성능 대비 가격이 지나치게 높아져야 합니다. 다른 가속들의 경우 웨이퍼를 사용할때 SRAM 보다는 로직 위주로 사용하기 때문에 (어짜피 메모리는 외부에 달 HBM 이 중심이기 때문에) 선단 공정 사용의 이득이 비용 상승보다 크지만 SRAM 을 크게 달고 가야하는 Cerebras 의 경우에는 이득보다 비용이 더 클 가능성이 높습니다. 이렇게 될 경우 설계 개선 또한 점점 한계가 있기 때문에 SRAM 기반 가속기들의 발전속도가 늦어지고 경쟁 기술 대비 장기적으로 뒤쳐질 수도 있습니다. 7. 번외 할라피뇨로 인한 가속기 시장 격변 예상 연도