什麼是 HBM 高頻寬記憶體?為什麼它是 AI 晶片的咽喉瓶頸

什麼是 HBM?高頻寬記憶體的技術架構與性能代差

HBM 是把多顆 DRAM 晶粒垂直堆疊、以矽穿孔連接而成的記憶體CITE:E1。這項技術全名為高頻寬記憶體(High Bandwidth Memory),透過矽中介層(interposer)緊鄰輝達等廠商的 GPU/加速器,以極寬的資料通道換取超高頻寬CITE:E1。堆疊晶粒之間的連接結構稱為矽穿孔,即 TSVCITE:E1。

隨著世代演進,HBM 的頻寬逐代提升:HBM3 每堆疊頻寬約 819 GB/s,HBM3E 提升到約 1.2 TB/s(採 12 層堆疊、容量 36GB),而 2025 年由 JEDEC 訂定標準的 HBM4 則達到每堆疊 2 TB/sCITE:E3。

AI 晶片為什麼卡在 HBM?記憶體牆瓶頸解析

AI 加速器受限於「記憶體牆」:運算單元的處理速度超出資料搬運速度CITE:E2。當記憶體頻寬跟不上運算需求時,再強的算力也會因為餵不飽而閒置CITE:E2。HBM 以寬資料通道緊貼晶片的設計,正是為了打破這道瓶頸CITE:E2。

HBM 製造為何困難?堆疊、良率與 CoWoS 封裝挑戰

HBM 的製造難度來自堆疊層數與矽穿孔密度的雙重限制:堆疊越高、TSV 越密,良率挑戰越大CITE:E6。此外,HBM 需要搭配台積電 CoWoS 等先進封裝技術,才能與 GPU 完成整合CITE:E6。因此市場上常見的「缺 GPU」情況,實際上經常是卡在 HBM 供給與封裝產能CITE:E6。

全球三家寡占:HBM 供應集中如何加劇晶片缺貨

SK 海力士以 58% 市佔率居冠,三星電子與美光各占約 21% 並列第二CITE:E4,三者合計等於全球僅有三家廠商能供應 HBM(2026 年第一季數據)CITE:E4。

這種供給集中的市場結構,是 AI 晶片缺貨與價格上漲的關鍵一環CITE:E4。

HBM4 競爭與量產:誰將掌控下一代 AI 晶片的命脈

SK 海力士、三星電子、美光三家供應商已全數取得輝達對 HBM4 的認證,對應下一代 Vera Rubin 平台CITE:E5。誰能率先量產 HBM4、並取得較高良率,將直接左右 AI 晶片的出貨節奏CITE:E5。

這代表什麼:從 HBM3 的 819 GB/s 到 HBM4 的 2 TB/sCITE:E3,搭配 SK 海力士 58% 的市佔優勢CITE:E4,以及三家供應商同步取得輝達 HBM4 認證的現況CITE:E5,顯示 HBM 的技術演進(頻寬)、市場結構(寡占)與製造瓶頸(堆疊良率、CoWoS 封裝)三個環節彼此牽動CITE:E1CITE:E6——任一環卡住,都會直接影響 AI 晶片的整體供給節奏。