AI 為什麼需要 HBM？高頻寬記憶體如何解放記憶體牆瓶頸

AI 運算為什麼會遇上「記憶體牆」？

GPU運算單元的算力遠快過記憶體搬資料的速度，頻寬而非算力才是AI推理實際的限制CITE:E1。大型語言模型推理時，權重必須反覆從記憶體讀進運算單元CITE:E1，這種資料搬運速度跟不上運算速度的落差，即是產業所稱的「記憶體牆」CITE:E1。

HBM 用什麼技術突破了記憶體頻寬的限制？

HBM以垂直堆疊DRAM晶粒與矽中介層寬匯流排的3D封裝架構，突破頻寬限制CITE:E2。高頻寬記憶體（High Bandwidth Memory，HBM）用極寬的資料通道換取遠高於傳統DDR/GDDR記憶體的頻寬，並直接貼近GPU以縮短資料搬運距離CITE:E2。

十年內 HBM 頻寬如何成長近 8 倍？——HBM2 到 HBM4 的演進軌跡

HBM單堆疊頻寬十年間從256 GB/s成長到2 TB/s，提升近8倍CITE:E3。

（資料來源：CITE:E3）

相較之下，傳統伺服器用的DDR5 DIMM頻寬約每通道數十GB/s，消費級GPU用的GDDR6/7約數百GB/sCITE:E7；而單顆AI加速器可搭載多個HBM堆疊，總頻寬可達數TB/s等級，這是HBM專為AI與高效能運算而生的關鍵差異CITE:E7。

HBM 的容量與堆疊層數如何同步升級，讓單顆加速器容納更大模型？

HBM最大堆疊層數與單堆疊容量同步提升，HBM3已達16-Hi、單堆疊64GBCITE:E4。HBM2為8-Hi、單堆疊8GB，到HBM3提升至16-Hi、64GB，HBM4同樣維持16-Hi、64GB的規格CITE:E4，讓單顆AI加速器能就近容納更大的模型權重CITE:E4。

（資料來源：CITE:E4）

為什麼 HBM 供應吃緊？市場集中在三家廠商的製程難題

2026年第1季HBM市場由SK海力士以58%市佔居首，三星與美光各約21%並列第二CITE:E5。

（資料來源：CITE:E5）

SK海力士的市佔較去年同期69%下滑CITE:E5，三家廠商的HBM4皆已獲輝達（NVIDIA）認證CITE:E5。HBM之所以昂貴且供給吃緊，源於其製程難度：垂直堆疊需以TSV（矽穿孔）技術逐層打通，良率與封裝複雜度遠高於平面DRAM，產能擴充速度跟不上AI需求的成長CITE:E6。

這代表什麼

HBM頻寬十年間從256 GB/s成長到2 TB/s、容量也同步從8GB擴大到64GB，直接對應了記憶體牆問題CITE:E3CITE:E4；但這個解方本身仍受限於TSV製程的良率與封裝複雜度CITE:E6，而供應端集中在SK海力士、三星、美光三家，且SK海力士市佔已從69%降至58%CITE:E5，顯示頻寬與容量的技術突破，並未同步解決供應面的結構性瓶頸。