AI 晶片 Scale-Up 互連戰局:NVLink、UALink 與 Ultra Ethernet 的頻寬對決

Scale-up 互連如何重新定義 AI 系統架構?

NVIDIA 將 AI GPU 叢集互連分成兩層,scale-up 讓同一 domain 內的 GPU 表現如單一運算引擎CITE:E1。NVIDIA 定義 scale-out 網路負責跨資料中心連接各伺服器,而 scale-up 網路則讓同一個 domain 內的 GPU 彼此協同運作、表現得像單一運算引擎CITE:E1。NVIDIA 進一步將 NVLink 定位為專為 AI factory 打造的 scale-up 網路CITE:E1。

互連頻寬與延遲為何決定 AI 工廠效能上限?

NVIDIA 指出全對全(all-to-all)頻寬與延遲對 AI factory 效能至關重要CITE:E6。NVIDIA 說明,若 expert 位於低頻寬或高延遲的網路後方,expert parallelism 帶來的效能增益會被通訊開銷抵銷CITE:E6。這使互連規格不只是硬體參數,而是直接決定大規模平行運算能否兌現效能增益的關鍵變數CITE:E6。

NVLink 的頻寬規格對標:從 GPU-to-GPU 的 3.6 TB/s 到機櫃級的 260 TB/s

NVIDIA 第六代 NVLink 為每顆 GPU 提供 3.6 TB/s 雙向 GPU-to-GPU 頻寬CITE:E2。在 72-GPU domain 規模下,NVLink 可達到 260 TB/s 的機櫃級頻寬CITE:E2。機櫃級實作上,GB200 NVL72 以液冷機櫃設計連結 36 顆 Grace CPU 與 72 顆 Blackwell GPUCITE:E3,其 NVLink Switch System 提供 130 TB/s 低延遲 GPU 通訊,用於 AI 與高效能運算(HPC)工作負載CITE:E3。

UALink 標準:超過 85 家產業巨頭如何挑戰 NVIDIA 的互連壟斷?

UALink Consortium 定位 UALink 為新一代 AI 工作負載的開放 scale-up 互連標準CITE:E4。UALink 200G 1.0 規格以每通道 200G 頻寬,支援單一 AI 運算 pod 內最多 1,024 個加速器的 scale-up 連接CITE:E4。這項開放產業標準由超過 85 家成員公司共同定義,董事會成員包括 Alibaba、AMD、Apple、Astera Labs、AWS、Cisco、Google、HPE、Intel、Meta、Microsoft 與 SynopsysCITE:E7。

Ultra Ethernet:以太網為基礎的 AI 互連替代方案

Ultra Ethernet Consortium 推動以 Ethernet 為基礎的開放通訊堆疊,鎖定 AI 與 HPC 大規模網路需求CITE:E5。Ultra Ethernet Consortium 的目標是打造開放、可互通、高效能的完整通訊堆疊架構,以應付 AI 與 HPC 持續成長的大規模網路需求CITE:E5。該組織明確把「AI at scale」界定為「GPU scale-out network」,對應 NVIDIA 定義中 scale-out 網路所涵蓋的跨伺服器連接範疇CITE:E1CITE:E5。

這代表什麼:三方陣營呈現分層競爭態勢——NVIDIA 以 260 TB/s 機櫃級頻寬與 130 TB/s 的 NVLink Switch System 鞏固 scale-up 網路的效能上限CITE:E2CITE:E3;UALink 以 85 家以上成員公司組成的開放標準,鎖定同一個 scale-up 層級與 NVIDIA 競爭,並支援單一 pod 最多 1,024 個加速器CITE:E4CITE:E7;Ultra Ethernet Consortium 則把版圖劃向 scale-out 網路CITE:E5。而 NVIDIA 本身強調,全對全頻寬與延遲一旦跟不上,expert parallelism 的效能增益就會被通訊開銷抵銷CITE:E6——這正是三方陣營爭奪互連規格主導權的核心利害所在。