輝達(NVIDIA)公布Vera Rubin平台實測數據:每百萬瓦Token吞吐最高提升10倍,推理成本降至十分之一

根據NVIDIA部落格文章(2026年7月21日),輝達(NVIDIA)發表新一代Vera Rubin平台,並公布多家合作夥伴的實測數據與部署案例,內容涵蓋處理器架構、互連技術、冷卻設計與客戶採用進度。以下依證據逐項整理。

Vera Rubin對比前代系統:每百萬瓦Token吞吐與推理成本

文章引用CoreWeave在深度求索(DeepSeek)-R1模型上的首批基準測試,顯示Vera Rubin NVL72每百萬瓦的token吞吐量為Grace Blackwell NVL72的10倍。文章另指出,與NVIDIA GB200 NVL72相比,Vera Rubin NVL72每百萬瓦最多可提供10倍token數量,且每百萬token成本僅為十分之一。同一篇文章也提到,Google Cloud於Google Cloud Next發表的A5X裸機執行個體建構於Vera Rubin NVL72機架級系統之上,較前代提供最高10倍更低的推理每token成本,以及10倍更高的每百萬瓦token吞吐量。

三組數字分別來自不同對照基準(前代硬體世代、CoreWeave實測、Google Cloud A5X),但NVIDIA部落格文章呈現的倍數均落在10倍區間。

Vera CPU的Olympus核心:架構優勢與代理式AI基準測試

文章表示,Vera CPU採用輝達(NVIDIA)自研的Olympus核心,相較於競爭對手的chiplet設計,提供2倍單執行緒效能、3倍核心對核心頻寬,以及低40%的記憶體延遲。文章並引用DeepInfra的基準測試指出,Vera CPU相較其他CPU可在相同服務品質下支援多達1.6倍的並行AI代理數量,協調速度最高提升2.2倍,同時改善基礎設施利用率與成本效率。

NVLink 6與Spectrum-X互連:支撐機架級規模擴展

文章指出,平台採用的第六代NVLink規模擴展技術,在複雜工作負載上較現成乙太網路提供超過2倍吞吐量、3倍更低延遲,以及10倍更高封包速率。Vera Rubin NVL72的NVLink 6全對全結構頻寬達260 TB/s,文章稱此設計使整個機架可作為單一統一加速器運作。在跨機架與跨站點層面,Spectrum-X乙太網路結合102.4T Spectrum-6交換系統與1.6T ConnectX-9 SuperNIC,較現成乙太網路提供1.6倍更高的RDMA頻寬;Spectrum-XGS乙太網路則可將多站點吞吐量提升1.9倍。

共封裝光學與液冷設計:功耗、可靠度與用水量

文章稱NVIDIA Photonics共封裝光學交換器是業界首款量產的此類產品,相較可插拔收發器可降低5倍功耗,並將平均無故障間隔(MTBI)提升10倍,CoreWeave、Lambda與OCI為首批採用者。CoreWeave部署的Spectrum-6液冷交換器機架,建構於102.4 Tb/s的Spectrum-6交換晶片上,每機架提供1.64 Pb/s頻寬,較前代氣冷交換器容量高出100%。在冷卻設計上,文章指出45度攝氏的液冷入口溫度設計可實現無冷卻機的乾式冷卻器運作,搭配閉環液冷系統,每年每百萬瓦可節省數百萬加侖水。

機架協同設計與全球供應鏈:從組裝時間到350家工廠

文章表示,經過三代機架級協同設計,Vera Rubin NVL72系統的運算托盤內部不再有纜線、風扇或軟管,將組裝時間從數小時縮短至一分鐘。在製造端,文章指出Vera Rubin平台的供應鏈橫跨30個國家、超過350個工廠,文章稱其為迄今規模最大、最成熟的機架級供應鏈。

代理式AI的Token消耗特性

文章指出,代理式(agentic)AI系統的token消耗量最多可達傳統AI應用的15倍,使高效基礎設施成為策略優先事項。文章並引用DeepInfra的營運數據:該公司每週處理近5兆個token,其中約30%由代理式系統驅動。

全球雲端與AI企業的部署動態

文章列舉多項合作進展。微軟(Microsoft)與Mistral擴大合作夥伴關係,雙方簽署一項數十億美元協議以擴展歐洲AI基礎設施,Mistral將採用數千顆最新的NVIDIA Vera Rubin GPU,用於訓練、推論與大規模部署的共享平台。CoreWeave則是首個完成Vera Rubin NVL72上線與驗證的AI雲端服務商,並開始釋出從實際硬體測得的首批效能數字。在Google Cloud端,文章表示NVIDIA Vera Rubin NVL72正驅動Google Cloud首個A5X執行個體,目前已供倫敦新創公司Ineffable Intelligence使用;A5X採用NVIDIA ConnectX-9 SuperNIC結合Google Virgo網路,單一站點內可擴展至數萬顆NVIDIA Rubin GPU,跨多站點配置最高可達近百萬顆GPU。Ineffable Intelligence共同創辦人Lasse Espeholt在文章中表示:「下一個研究時代需要下一個世代的硬體。我們很榮幸能與輝達(NVIDIA)和Google Cloud的團隊合作,他們讓我們提前接觸Vera Rubin。兩個團隊的支援無可比擬,我們幾乎立即上線運作,目前已在測試superlearner基礎設施。」

數字之外:這代表什麼

將前文數字並列可看出兩條並行的敘事線:一是效能與成本端,CoreWeave的DeepSeek-R1實測、GB200 NVL72對照組、Google Cloud A5X三組獨立數據都指向「10倍每百萬瓦吞吐量」這個相同量級,而GB200對照組與A5X對照組都同時提到「十分之一成本」;二是這些效能提升發生的場景,文章將其與代理式AI的token消耗特性(最多15倍於傳統應用、DeepInfra每週近5兆token中三成為代理式)並列,加上Vera CPU在DeepInfra基準測試中對並行AI代理數量(1.6倍)與協調速度(2.2倍)的提升,顯示硬體規格數字與代理式工作負載的討論在文章中被放在同一脈絡下呈現。至於機架組裝時間從數小時縮短至一分鐘,以及350家工廠、30個國家的供應鏈規模,則是文章用來說明量產與部署面能否跟上前述效能主張的另一組事實依據。