HBM3E 技術解密:SK海力士、美光、三星如何用矽穿孔堆疊撐起輝達 H200 的記憶體頻寬

HBM3E 如何透過矽穿孔技術實現高密度、高頻寬的記憶體堆疊?

SK海力士(SK Hynix)將每顆 DRAM 晶片較前代削薄 40%,並以矽穿孔(TSV)技術垂直堆疊製成 HBM3ECITE:E2。作為 HBM(高頻寬記憶體)系列第五代產品,HBM3E 主打高速度、高能源效率與優異抗熱性CITE:E1。晶片削薄搭配 TSV 垂直互連,是 HBM3E 得以在有限晶粒面積內堆疊更多層 DRAM 裸晶、同時維持訊號傳輸效率的基礎製造工法CITE:E2。

HBM3E 的容量與堆疊配置:SK海力士與美光如何對標?

SK海力士於 2024 年 9 月 26 日量產全球首款 12 層堆疊、36GB 容量的 HBM3E,為當時 HBM 產品線中最大容量CITE:E3。相較之下,美光(Micron)的 HBM3E 8-high 產品提供每一顆 24GB 容量CITE:E5,堆疊層數較 SK海力士的 12 層方案少 4 層,容量也隨之低於 36GB。兩家廠商公布的資料顯示,堆疊層數與單顆容量呈正相關,12 層方案的容量高出 8-high 方案 12GBCITE:E3CITE:E5。

HBM3E 單顆晶片的頻寬性能如何?不同廠商如何對標?

美光 HBM3E 的 8-high 與 12-high 產品皆可提供每一顆超過 1.2 TB/s 的頻寬CITE:E4。三星半導體(Samsung Semiconductor)表示,其 12 層堆疊 HBM3E 在 9.2Gbps 訊號速率下可提供最高 1,180GB/s 頻寬CITE:E7。以單位換算,三星公布的 1,180GB/s 約略等於 1.18TB/s,與美光公布的「逾 1.2TB/s」處於相近量級,但兩家廠商並未在同一份資料中揭露對方的堆疊層數與訊號速率條件,因此無法逐項比對其測試基準是否一致。

輝達 H200 如何運用 HBM3e 為 AI 加速器提供記憶體頻寬?

輝達(NVIDIA)H200 是首款搭載 141GB HBM3e 記憶體、頻寬達 4.8 TB/s 的 GPUCITE:E6。這是輝達官方對 H200 記憶體規格的具體揭露,141GB 的總容量遠高於上游廠商公布的單顆 HBM3E 堆疊容量(SK海力士 36GB、美光 24GB)CITE:E3CITE:E5CITE:E6,4.8 TB/s 的整體頻寬也高於三星公布的單一 12 層堆疊 1,180GB/s 規格CITE:E7CITE:E6。

這代表什麼:SK海力士、美光、三星半導體公布的容量與頻寬數字都是「單顆 HBM3E 堆疊」層級的規格,而輝達 H200 揭露的 141GB、4.8 TB/s 則是 GPU 系統整體的記憶體規格,兩者統計基準不同CITE:E3CITE:E4CITE:E5CITE:E6CITE:E7。SK海力士的 36GB 容量紀錄與三星的 1,180GB/s 頻寬紀錄,分別代表容量與頻寬兩個不同指標上的業界揭露數字,證據中並未顯示同一家廠商同時在容量與頻寬兩項上都取得最高數字CITE:E3CITE:E7。