AI 가속기는 왜 추론 단계에서 범용 GPU와 다른 ASIC 구조로 세분화되는가?
이 자료가 더한 내용
현재 ASIC은 AI 모델 안에서는 여전히 범용성이 있어 GPU와 큰 구별이 약했지만, 작성자는 2028년부터 워크로드별로 최적화된 ASIC이 등장해 특히 추론 디코드 단계에서 총소유비용 효율을 극단적으로 높일 것으로 본다. 이에 따라 하드웨어보다 모델과 소프트웨어를 가진 기업의 주도권이 커지고, 하드웨어는 고정 보유보다 전제 조건에 맞춘 대응이 필요하다는 관점이다.
근거 보기 3
- 원문 구간 1
5. Q&A 6. 트랜스크립트 정리 1. AI 가속기 시장의 기술적 종착점과 2028년의 변곡점 AI 가속기 시장은 2028년부터 진정한 의미의 ASIC이 등장하여 특정 모델에 최적화된 하드웨어로 추론 단가를 극단적으로 낮추는 방향으로 발전할 것이며, 이는 AI 모델의 상품화와 클라우드 서비스의 수익 구조 변화를 가속화할 것으로 예상된다. 1.1. 현재 AI 가속기의 한계와 ASIC의 진화 현재의 AI 가속기는 범용성을 갖춘 반도체로, 진정한 ASIC과는 차이가 있으며, 2028년부터는 특정 모델에 최적화된 ASIC이 등장할 것으로 전망된다. 현재 ASIC의 범용성: 현재 ASIC이라고 불리는 반도체들은 어느 정도 범용성을 갖추고 있어, GPU만큼은 아니지만 소프트웨어와의 호환성이 제한적인 형태로 발전하고 있다. 이는 TPU가 3세대까지 발전하면서도 핵심 설계는 한 번만 바뀌고 유지될 수 있었던 이유와 같다. TPU는 행렬 곱셈기를 최대한 늘리는 방향으로 설계되어, 사실상 GPU와 유사한 범용성을 갖게 되었다. 따라서 지금까지의 AI 가속기는 AI 모델에 한해 범용성을 갖는 대형 행렬 곱셈기의 형태를 띠었으며, GPU와 ASIC 간의 큰 구별이 없었다.
- 원문 구간 2
이러한 설계 개선은 엔비디아, AMD 등 모든 기업에서 유사하게 이루어져 커머디티화되었다. 2028년 이후 진정한 ASIC의 등장: AI 가속기는 이제 워크로드별로 더욱 세분화되고 최적화될 것이며, 특히 추론의 디코드 단계에서는 완전한 ASIC화가 이루어질 것으로 예상된다. 이는 과거 ASIC이 보여주었던 극단적인 효율성을 디코드 단계에서 구현하는 흐름으로, 2028년부터 관련 제품들이 출시될 것으로 보인다. 빅테크 기업들도 AI 프로젝트 프론티어 모델을 공식 발표하며, 2028년부터 본격적으로 이러한 변화를 추진할 것으로 예상된다. 또한, 빅테크 기업들은 2028년부터 **CAPEX(자본적 지출)**를 상황에 따라 조절하겠다고 발표했는데, 이는 추론 단가를 극단적으로 낮추는 방향으로 전환될 것임을 시사한다. 지금까지 브로드컴의 ASIC은 빅테크 자체 제작의 범용 AI 가속기에 가까웠지만, 2028년부터는 범용성이 떨어지는 대신 엄청난 총소유비용(TCO) 효율성을 제공하는 가속기들이 등장할 것이다. 예를 들어, 오픈AI의 가속기는 비공식적으로 엔비디아보다 50% 이상 높은 TCO를 기록하는 것으로 알려져 있다. 1.2. AI 가속기 시장의 변화와 투자 전략
- 원문 구간 3
AI 가속기 시장은 소프트웨어 기업으로 주도권이 넘어가고 있으며, 하드웨어 기업들은 buy and hold 전략보다는 유연한 대응이 필요하다. 하드웨어 시장의 변화: 과거처럼 하드웨어에 투자하여 묻어두는 시대는 끝났으며, 새로운 이슈나 기술이 나오지 않는 한 buy and hold 전략은 유효하지 않다. 엔비디아가 독점적인 위치를 가졌던 시기는 거의 끝났고, 대부분의 밸류체인에서 기업 간 경쟁이 심화되고 있다. 2026년에서 2027년 상반기까지는 **CAPA(생산 능력)**가 타이트하지만, 이후에도 클라우드 가격이 유지될지는 지켜봐야 한다. 메모리 시장도 한 번 꺾였기 때문에, 이제는 트레이딩 구간으로 전환될 가능성이 높다. 이러한 트레이딩 구간은 반도체 쇼티지가 지속되고 GPU 렌탈 가격이 높은 상태를 유지하는 한 지속될 수 있다. 그러나 쇼티지가 끝나면 하이퍼스케일러의 클라우드 스토리지나 하드웨어 투자도 조심해야 할 시기가 올 것이다. 소프트웨어 기업으로의 주도권 이동: AI 가속기 시장의 주도권은 이제 소프트웨어 기업으로 넘어갈 것으로 예상된다. 추론 단가를 극단적으로 낮추는 경쟁이 심화되면서, 하드웨어 기업들은 수익을 내기 어려워질 수 있다.