[안테나] 애플의 온 디바이스 AI 전략, 메모리 패키징 전환!!

[260921] [안테나] 애플의 온 디바이스 AI 전략, 메모리 패키징 전환!! IT의 신 이형수 IT [음악] 안테나. >> 네. 월간 안테나 파이팅이 [음악] 없습니다. 그죠? >> 아, 네. >> 시장이 안 좋죠. >> 좀 지리하네요. >> 네. 그렇죠. 그럴 때는 어떻게 얘기했어요? >> 공부해야죠. >> 맞습니다. 그래서 제가 책을 썼습니다. >> 침토류 법칙. 네. >> 다섯 번째 책입니다. 다섯 권이나 썼네요. 예. 이번에 제일 안 될 것 같아. [웃음] >> 아시장이 >> 제일 안 팔리는 거 같아요. >> 아 >> 하여튼 파이팅 하겠습니다. >> 우리 양기자 오늘 준비한 내용이 애플 >> 내용인데 >> 네 >> 사실 애플이 요즘에 관심이 많이 떨어지긴 하죠. 네. 상대적으로 그죠. >> 그죠? >> 그래도 이번에 애플 폴더볼 이야기는 많이 하는데 >> 네. 폴더블보다 우리는 더 주목해야 되는게 있다. 그래서 애플의 패키지 기술 변화가 10년 만에 돌아왔다라고 하는데 뭐가 바뀐 거예요? >> 그죠? 그러니까 뭐 애플 폴더블은 워낙 좀 화려하기 때문에 이제 B2C에서 많이 주목하는 거고 >> 저희 이제 반도체 관점에서 보면 >> 그동안에 큰 변화가 있었던게 2016년이었었거든요. 그전까지는 패키지 기판을 써 가지고 반도체를 올렸었는데 >> 그때 당시에 이제 기판을 없애 버리고 빼나웃 웨이퍼 레벨 패키지라고 해서 그냥 맵 안에서 다 패키지까지 해 버리는 그런 공정을 바꿨었고 >> 이번에 이제 바뀐 거는 기존에는 팬아웃 웨이퍼 레벨 패키지 한 거에다가 메모리를 위에다 딱 올렸었어요.

음 >> 단면도를 보면 마치 초밥처럼 생겼습니다. 밥이 있고 회가 있듯이 >> AP가 있고 메모리가 있는 요런 구조였는데 이번에는 그 위에 있는 메모리를 밑으로 내렸습니다. 밑으로 내려서 마치 그 바둑판 형식으로 이렇게 딱 나란히 세웠어요. >> 음. 그러니까 기존에 원래 패키지 온 패키지. >> 예. 그래서 이제 칩를 그냥 수직으로 쌓는데 >> 이걸 이제 패키지 그죠? 이제 범프 가지고 연결한 거죠. TSV로 연결하거나 하이브리드 본딩으로 연결한 건 아니고 >> TIV라고 해서 그 옆에 이제 인포 브릿지 뭐 이렇게 세우는게 있습니다. 그 그걸 세워 가지고 >> 위로 아래 위로 이렇게 연결을 했었죠. 예. >> 그게 그러면 보통 우리가 3D로 패키징을 하면 속도가 되게 빠르니까 이렇게 패키지를 >> 3차원으로 닦는다고 하는데 그걸 옆으로 내리면 >> 속도는 좀 느려지는 거 아니에요? 우리가 3D로 연결했을 때 속도가 빠르다라고 하는 건 그 앱 안에서의 관점이에요. 그러니까는 앱 안에서 >> 우리가 하이브리드 본딩을 써 가지고 칩을 이렇게 적했을 때는 빨라지는게 맞아요. 그러니까 >> HBM도 일종의 앱 안에서 이렇게 적층하는 거죠. 물론 후공정에 속하긴 하지만. 그런데 애플이 지금까지 썼었던 3D 적층이라고 하는 건 >> 모든 반도체가 추화되고 나서 그니까 패키지로 끝나고 나서 패키지 위에 패키지를 쌓는 거라서이 사이의 대역폭은 사실 그렇게 높지 않습니다. 단지 콤팩터 상으로이 수직으로 쌓였기 때문에 어 이게 더 빠른게 아닌가 생각하시겠지만 >> 그 두 개가 연결될 수 있는 그 공간이랄까요?

그러니까 메모리와 AP가 연결될 수 있는 공간은 >> 속된말로 그 가생이 있죠. 가생이 있죠. 네. >> 그쪽만 붙이는 거거든요. 그니까 >> 가운데에 구멍을 들어서 확 붙이는 HBM 같이 그렇게 하는게 아니고 옆에만 마치 그 풀로 이렇게 붙여서 종이 두 개 붙이 붙이는 거라서 그렇게 두 간의 대역이 높지가 않습니다. 네. >> 그러니까 이제 속도보다는 경박 단소화 쪽에 그 초점을 둔 패키징이었는데 >> 면적을 절반으로 줄 수 있죠. >> 어 그런데 이제 그거 옆으로 내리면 뭐가 좋아지는 거예요? 일단 저 두 가지 측면이라고 보는데 첫 번째로는 일단 열 배출이 좋습니다. 왜냐하면이 메모리가 위에 쌓였을 때는 AP에서 열이 더 많이 나는데 AP에서 나온 열이 메모리를 뚫고 위로 올라가야 되잖아요. 그래서 그 위에 베이퍼 챔버를 붙인다고 해도 열이 막 실시간으로 빠져나가지를 못해요. 그런데 이거를 옆으로 내린 다음에 베이퍼 챔버를 AP 위에 바로 웃친다. 그럼 열이 막 실시간으로 빠져나가는 거죠. 그래서 일단 방열 측면에서 굉장히 좋을 거라고 보고 두 번째는 아까 AP와 메모리를 PO로 붙였을 때는 그렇게 고대역이 안 된다 그랬잖아요. 근데 옆으로 붙이면 옆으로 붙이면서 밑에다가 RDL 인터포를 붙였거든요. 일종의 RDL 인터포로 봐야 되겠죠. 그거를 붙여서 둘간에 엄청나게 >> 통신 속도를 높혔습니다. 그 기존에 우리가 애플 H칩 A19%죠. 이전에 나왔던 A19의 메모리 대역폭이 76GB/세 정도라고 하거든요.

근데 이번에 이거를 50% 높여서 115GB/세크로 >> 뭐 속도가 굉장히 빨라졌죠. 예. 그렇게 개선을 했습니다. 네. >> 음. [콧방귀] >> 자, 그러면 애플이 10년 만에 이제 AP 패키지 기술을 통째로 바꾼 배경에는 온 디바이스 AI를 염도에 둔 거라고 보고 있나요? 저는 그게 더 크다고 봐요. 그러니까 아까 앞에서 방열도 좋고 대역폭도 좋다고 했는데 굳이 둘 중에 뭐가 더 중요하다라고 하면은 저는 대역폭인 거 같아요. 그러니까 이번에 우리가 안테나 시간에 지난 달인가 한번 알아봤지만 iOS 27이 이제 업데이트 되면서는 AI 시리가 완전히 바뀝니다. 그동안에는 되게 좀 속된말로 하면 좀 멍청한 시리였고 이번에 굉장히 똑똑한 시리로 바뀌는데이 >> 시리의 작동 방식이 굉장히 독특해요. 일단은 200억 개의 파라미터 그러니까 LLM 매개 변수죠. 그거를 랜드 플래시에 담아 놓고 그니까 우리가 사진 찍으면은 사진 저장되는 공간 있잖아요. >> 거기다 저장을 200억 개를 해 놓고 >> 그거를 디램으로 그때그때 일부를 불러옵니다. 왜냐면 >> 이걸 다 불러오려면 디램만 20GB가 필요한데 디램이 전체가 다 12GB밖에 안 되잖아요. 그니까 이걸 다 불러올 수는 없고 한 10억에서 40억 정도를 디램으로 불러와서 거기서 연산을 잃으킨다고 하거든요. 조금이 디램이 우리가 M비디아에서 공급하는 GPU로 보면 일종의 HBM의 역할을 해야 되는 거잖아요. >> 그러면이 HBM이 특징이 뭐죠? 대역폭이 굉장히 좋다는 거.

근데 이번에 이거를 50% 높여서 115GB/세크로 >> 뭐 속도가 굉장히 빨라졌죠. 예. 그렇게 개선을 했습니다. 네. >> 음. [콧방귀] >> 자, 그러면 애플이 10년 만에 이제 AP 패키지 기술을 통째로 바꾼 배경에는 온 디바이스 AI를 염도에 둔 거라고 보고 있나요? 저는 그게 더 크다고 봐요. 그러니까 아까 앞에서 방열도 좋고 대역폭도 좋다고 했는데 굳이 둘 중에 뭐가 더 중요하다라고 하면은 저는 대역폭인 거 같아요. 그러니까 이번에 우리가 안테나 시간에 지난 달인가 한번 알아봤지만 iOS 27이 이제 업데이트 되면서는 AI 시리가 완전히 바뀝니다. 그동안에는 되게 좀 속된말로 하면 좀 멍청한 시리였고 이번에 굉장히 똑똑한 시리로 바뀌는데이 >> 시리의 작동 방식이 굉장히 독특해요. 일단은 200억 개의 파라미터 그러니까 LLM 매개 변수죠. 그거를 랜드 플래시에 담아 놓고 그니까 우리가 사진 찍으면은 사진 저장되는 공간 있잖아요. >> 거기다 저장을 200억 개를 해 놓고 >> 그거를 디램으로 그때그때 일부를 불러옵니다. 왜냐면 >> 이걸 다 불러오려면 디램만 20GB가 필요한데 디램이 전체가 다 12GB밖에 안 되잖아요. 그니까 이걸 다 불러올 수는 없고 한 10억에서 40억 정도를 디램으로 불러와서 거기서 연산을 잃으킨다고 하거든요. 조금이 디램이 우리가 M비디아에서 공급하는 GPU로 보면 일종의 HBM의 역할을 해야 되는 거잖아요. >> 그러면이 HBM이 특징이 뭐죠? 대역폭이 굉장히 좋다는 거.

>> 그렇죠? >> 메모리 대역폭이 넓다는 거. 그래서 이제이 디램과이 APY의 대역폭을 넓힐 필요가 있었다라고 보는 거고 그래서 이번에 위에 있던 그 POP 방식으로 붙어 있던 메모리를 1층으로 내린게 아니겠느냐 생각하는 거죠. >> 음. 자, 그러면 앞으로 스마트폰 디 탑재량이 늘어나거나 아니면 삼성전자의 제트랜드 같은 고대역 랜드가 더 주목받을 수도 있겠네요. >> 그러니까 이게 메모리의 중요성이 점점 더 높아질 것 같습니다. 그러니까 아까 이제 메커니즘을 제가 설명드렸지만 일단 랜드에다가 모든 가중치를 넣어 놓고 그중에 필요할 때마다 10억에서 40억를 디램물로 불러와야 되고 그거를 이제 AP하고 연산해서 AI 연산을 하는 거잖아요. 그렇게 보면 일단 각각의 공간도 커져야 되겠죠. 왜냐면 애플이 앞으로이 온 디바이스에서 돌아가는 lm의 매개 변수를 계속 늘릴 거 아니에요. 그래야 좀 더 똑똑해지기 때문에. 그럼 200억 개에서 뭐 400억 개, 600억 늘리려면 당연히 랜드도 커져야 되고 그다음에 이거를 불러올 때도 지금은 10억개에서 40억만 불러오지만 이걸 ME라고 하는데 나중에는 좀 더 많은 매개 변수를 불러와서 디램에서 연산할수록 AI가 더 똑똑해지기 때문에 디램도 용량이 늘어야 되고 그다음에 그 매개 변수가 계속 실시간으로 랜드와 디램을 왔다 갔다 왔다 갔다 하려 그러면 당연히 랜드의 어떤 대어폭도 커져야 되고 그리고 >> AP와 메모리가 통신하는 그대 공고. 그러니까 어떻게 보면 메모리에 요구되는 스펙은 계속 상향이 될 거 같습니다.

용량도 커지고 속도도 빨라지고. 그래서 저는 뭐 우리가 그동안에 연초에 HBF를 되게 많이 알아봤었잖아요. 그러니까 서버의 GPU 옆에 HBM이 많이 붙는데 그 HBM의 일부를 HBF가 대체하지 않겠느냐, 그러니까 랜드 플래시를 수직으로 쌓은게 대체하지 않겠느냐라고 알아봤었지만 >> 음. 어찌 보면 그런 컨셉의 제품은 모바일에서 먼저 구현될 수도 있을 것 같아요. 그러니까 지금 >> 샌디스크가 HBF를 개발해 가지고 계속 프로모션을 하고 있는데 사실 서버 업계에서는 저거를 어디다 써야 되게 좋을까 되게 고민이 많거든요. 근데 지금 모바일에서는 아 요거 굉장히 좀 >> 정확한 어떤 용처가 나왔다까요? 저 그렇게 보이거든요. 그래서 얼마 전에 삼성전자에서 지엔도를 발표하기도 했지만 진엔도가 좋은게 뭐예요? 랜드플래시를 수직으로 쌓아서 디램에서 읽어가는 속도를 굉장히 높인 거잖아요. 한 일곱배 빨리 읽어 간다고 하는데 저는 삼성전자에서 이거는 의도한 거라고 봅니다. 그러니까 지금처럼 스마트폰에서 온 디바이스로 AI가 돌아감에 있어서 앞으로 가중치를 읽어 올 때 얼마나 빨리 읽어 올까 이게 중요해지고 그러려면 랜드에 대한 대국도 늘어야 된다. 저는 이게 뭐라랄랄까 HBF의 모바일판이라고 생각하고 아마 먼저 더 구현되지 않을까 생각해요. 예. 이번에는 그러면 패키지 구조에 대해서만 말씀하셨는데 혹시 디램은 기존에 LPDDR 5X를 쓰는 건가요? >> APDR 5X >> 그대로 쓰는 거고 >> 랜드 같은 경우는 기존에 그 인터페이스 그대로 쓰는 건가요?

>> 그렇죠? >> 메모리 대역폭이 넓다는 거. 그래서 이제이 디램과이 APY의 대역폭을 넓힐 필요가 있었다라고 보는 거고 그래서 이번에 위에 있던 그 POP 방식으로 붙어 있던 메모리를 1층으로 내린게 아니겠느냐 생각하는 거죠. >> 음. 자, 그러면 앞으로 스마트폰 디 탑재량이 늘어나거나 아니면 삼성전자의 제트랜드 같은 고대역 랜드가 더 주목받을 수도 있겠네요. >> 그러니까 이게 메모리의 중요성이 점점 더 높아질 것 같습니다. 그러니까 아까 이제 메커니즘을 제가 설명드렸지만 일단 랜드에다가 모든 가중치를 넣어 놓고 그중에 필요할 때마다 10억에서 40억를 디램물로 불러와야 되고 그거를 이제 AP하고 연산해서 AI 연산을 하는 거잖아요. 그렇게 보면 일단 각각의 공간도 커져야 되겠죠. 왜냐면 애플이 앞으로이 온 디바이스에서 돌아가는 lm의 매개 변수를 계속 늘릴 거 아니에요. 그래야 좀 더 똑똑해지기 때문에. 그럼 200억 개에서 뭐 400억 개, 600억 늘리려면 당연히 랜드도 커져야 되고 그다음에 이거를 불러올 때도 지금은 10억개에서 40억만 불러오지만 이걸 ME라고 하는데 나중에는 좀 더 많은 매개 변수를 불러와서 디램에서 연산할수록 AI가 더 똑똑해지기 때문에 디램도 용량이 늘어야 되고 그다음에 그 매개 변수가 계속 실시간으로 랜드와 디램을 왔다 갔다 왔다 갔다 하려 그러면 당연히 랜드의 어떤 대어폭도 커져야 되고 그리고 >> AP와 메모리가 통신하는 그대 공고. 그러니까 어떻게 보면 메모리에 요구되는 스펙은 계속 상향이 될 거 같습니다.

용량도 커지고 속도도 빨라지고. 그래서 저는 뭐 우리가 그동안에 연초에 HBF를 되게 많이 알아봤었잖아요. 그러니까 서버의 GPU 옆에 HBM이 많이 붙는데 그 HBM의 일부를 HBF가 대체하지 않겠느냐, 그러니까 랜드 플래시를 수직으로 쌓은게 대체하지 않겠느냐라고 알아봤었지만 >> 음. 어찌 보면 그런 컨셉의 제품은 모바일에서 먼저 구현될 수도 있을 것 같아요. 그러니까 지금 >> 샌디스크가 HBF를 개발해 가지고 계속 프로모션을 하고 있는데 사실 서버 업계에서는 저거를 어디다 써야 되게 좋을까 되게 고민이 많거든요. 근데 지금 모바일에서는 아 요거 굉장히 좀 >> 정확한 어떤 용처가 나왔다까요? 저 그렇게 보이거든요. 그래서 얼마 전에 삼성전자에서 지엔도를 발표하기도 했지만 진엔도가 좋은게 뭐예요? 랜드플래시를 수직으로 쌓아서 디램에서 읽어가는 속도를 굉장히 높인 거잖아요. 한 일곱배 빨리 읽어 간다고 하는데 저는 삼성전자에서 이거는 의도한 거라고 봅니다. 그러니까 지금처럼 스마트폰에서 온 디바이스로 AI가 돌아감에 있어서 앞으로 가중치를 읽어 올 때 얼마나 빨리 읽어 올까 이게 중요해지고 그러려면 랜드에 대한 대국도 늘어야 된다. 저는 이게 뭐라랄랄까 HBF의 모바일판이라고 생각하고 아마 먼저 더 구현되지 않을까 생각해요. 예. 이번에는 그러면 패키지 구조에 대해서만 말씀하셨는데 혹시 디램은 기존에 LPDDR 5X를 쓰는 건가요? >> APDR 5X >> 그대로 쓰는 거고 >> 랜드 같은 경우는 기존에 그 인터페이스 그대로 쓰는 건가요?

아니면 새로운 >> 랜드는 변화가 없어요. 랜드는 거의 없는 걸로 알고 있고 >> 디램이 기존에는 64비트 방식이었거든요. 그러니까 AP하고 붙어 있는 그 버스 폭이 64비트였는데 이번에 92비트로 이렇게 높여 가지고씩 >> 빨리 이렇게 주고받을 수 있도록 그렇게 했습니다. >> 하여튼 뭐 이번에는 그 패키지 구조만 바뀌었고 이제 일부 버스를 좀 더 이제 넓히는 그런 쪽으로 가고 있는데 향후에는 아예 그냥 통신 프로토콜 자체가 바뀔 가능성도 배제를 할 수도 없겠네요. 프로토콜도 바뀌어서 속도를 좀 더 높일 거고 지금 이번에 나온 거 이제 보시면 아시겠지만 다 12GB로 나왔거든요. 작년에는 일반 모델이 8GB였어요. 이번에는 8GB 아예 없습니다. 그래서 이제 온디바이스 쪽에서 그러니까 그동안에 메모리 수요를 볼 때 그 핸드셋 쪽을 거의 안 봤었잖아요. 우리가 항상 서버 쪽만 봤었잖아요. 근데 이제는 램에 대해서 극도로 아끼는 램크루즈라고 하는 애플조차도 저렇게 램을 올리는 거를 보면 앞으로는 이제 핸드셋 쪽에서도 뭔가 메모리 수요가 폭발할 수 있을 것 같다는 생각이 들고 또 한편으로는 아 애플이 왜 저렇게 요즘에 램 때문에 골치를 앓고 있는지도 알 것 같죠. CXMT에다가 좀 더 내놔라고 하고 정치권에다가 우리 쓸 수 있게 해 달라고 막 엄청나게 로비를 하고 있잖아요. 그러니까 >> 이제 본인들이 온디바이스 AI를 좀 이제 구사하려고 하는 그 찰라에 갑자기 이렇게 램값이 오를 줄은 몰랐겠죠.

예. 그래서 왜 저러는지도 좀 알 것 같습니다. >> 그 요즘에 메모리 수요에 대한 걱정들이 많은데 이제 시장에서는 오히려 설레발 치면서 걱정하고 있고 산업계에서는 이것 더 몇 년 더 지속되겠는데 자 이런 분위기인데 그 온도 차를 극명하게 오늘 보여주는 이야기 같습니다. >> 그러니까 시각차가 완전 다른 게 >> 뭐 최근에 이제 뭐 퍼플렉시티 우리나라에서는 사실 많이 쓰지 않는데 해외에서 쪽에 >> 굉장히 점유율이 높잖아요. 근데 요즘에 퍼플렉시티에서 내놓는 거 보면 운디바이스 모델하고 그다음 하이브리드 모델 이런 거 계속 내놓거든요. 그런 것들은 퍼플렉시티 서버에다가 접속해 가지고 사용하는 모델이 아니고 내 맥에서 직접적으로 돌아가는 겁니다. 그러니까 이건 뭐 예를 들면 프라이버시 때문에 좀 걱정하시는 분들이나 이런 사람들 내 맥에서 바로 AI 연산을 일으킬 수 있게 LM까지 탑재해서 사용하는 거거든요. >> 그런 것들은 기본적으로 돌아가는 램스팩이 24GB예요. 제가 쓰는이 맥북 에어는 지금 이거 12GB거든요. 이거에 두 배는 있어야 쓸 수 있다. 그만큼 온디바이스를 하려 그러면 램이 굉장히 좋아야 되고 그다음에 속도도 빨라야 되는 요런 두 가지 측면에서 발전이 계속 있을 것 같습니다. >> 음. >> 일단 뭐 아직까지 공개가 안 돼서 밸류 체인에 대해서 아직까지 좀 더 이제 파악을 해 봐야겠지만 혹시 국내 수회주가 이걸로 인해서 좀 볼 만한 회사가 있나요?