記憶體內運算如何突破馮紐曼瓶頸?三星 HBM-PIM 與 SK 海力士 GDDR6-AiM 解析

記憶體牆困境:AI 運算中的能量消耗與資料搬移瓶頸

IBM Research 指出,AI 運算時的主要能量消耗來自資料搬移,而非運算本身CITE:E1。IBM Research 說明,AI 執行期間的主要能量支出花在資料傳輸上——也就是把模型權重在記憶體與運算單元之間來回搬動CITE:E1。這項觀察指向傳統馮紐曼架構下,運算單元與記憶體分離所造成的成本核心:資料要先從記憶體搬到處理器才能運算,搬移本身就消耗大量能量CITE:E1。

記憶體內運算(PIM)的定義:非馮紐曼架構下的就地運算

IBM Research 將記憶體內運算(PIM)定義為非馮紐曼運算範式,核心是在記憶體內就地完成運算CITE:E2。其核心概念是直接在記憶體內就地執行特定運算任務,藉此免除在處理器與記憶體單元之間來回搬移資料的需要CITE:E2。換言之,PIM 不是把資料送去給運算單元,而是把運算能力送進資料所在的記憶體本身。

三星 HBM-PIM:在高頻寬記憶體中植入 AI 運算引擎

三星電子開發出業界首款整合 AI 運算能力的高頻寬記憶體(HBM)方案 HBM-PIMCITE:E3。三星電子的做法是在每個記憶體 bank(儲存子單元)內放入為 DRAM 最佳化的 AI 引擎,讓運算能力直接送到資料儲存之處,以實現平行處理並降低資料搬移CITE:E3。三星電子表示,將此新架構套用於既有的 HBM2 Aquabolt 方案時,系統效能可提升逾兩倍,同時能耗降低超過70%CITE:E4。

SK 海力士 GDDR6-AiM:GDDR6 記憶體上的 PIM 實現與優化

SK 海力士推出首款記憶體內運算產品 GDDR6-AiMCITE:E5。SK 海力士指出,以 CPU 或 GPU 搭配 GDDR6-AiM 取代一般 DRAM,可讓特定運算速度加快16倍CITE:E5。在功耗方面,SK 海力士說明 GDDR6-AiM 以1.25V 電壓運作,低於既有產品1.35V 的操作電壓CITE:E6。

兩家方案的數字對照

這代表什麼:IBM Research 將資料搬移定性為 AI 運算的主要耗能來源,並將記憶體內運算定義為就地運算、免除來回搬移的非馮紐曼範式CITE:E1CITE:E2。三星電子與 SK 海力士各自提出的 HBM-PIM 與 GDDR6-AiM,則是把這個範式落實為具體晶片架構:一個把 AI 引擎放進 HBM 的每個記憶體 bankCITE:E3,一個把運算單元疊加在 GDDR6 之上CITE:E5,兩者皆各自公布了效能或速度提升數字,顯示記憶體內運算已從概念研究走向可量測的量產方案。