NVIDIA公布Vera Rubin與Spectrum-X最新數據:AI工廠如何撐起51.2萬顆GPU規模?

GPU與推理加速:Vera Rubin和Groq 3 LPX在計算層有哪些突破?

NVIDIA的Vera Rubin NVL72在Agentic Coding工作負載下,每MW token吞吐量最高可達GB300 NVL72的30倍CITE:E1。在DeepSeek V4 Pro、14萬token以上context的Agentic Coding工作負載下,不同互動速度時的差距分別約為2倍、10倍,最高達30倍CITE:E1。NVIDIA機架級系統Vera Rubin與Groq 3 LPX現已全面進入量產CITE:E9,NVIDIA並表示Groq 3 LPX在Agentic AI工作負載中達到每秒2,900個輸出token的紀錄CITE:E2。

在Artificial Analysis以Gemma 4 31B(Reasoning)進行的10萬token context測試中,Groq 3 LPX的輸出速度出現兩個版本的數字:科技媒體Inside報導引述的現場數據為每秒3,431 token,約為第二名的4倍CITE:E3;NVIDIA官方部落格公布的數字則為每秒3,400個詞元,較最接近的替代平台快4倍CITE:E10。兩者精確值雖有差異,倍數結論一致。一套機架級Groq 3 LPX部署可包含256個LP30加速器,透過晶片對晶片直接互連,組成專為AI工廠打造的推論引擎CITE:E19。

網路革命:Spectrum-X相比傳統乙太網路方案有何性能優勢?

NVIDIA的Spectrum-X乙太網路平台相較現有乙太網路解決方案,可提供1.6倍的AI網路效能,並在多租戶環境中提供穩定且可預測的效能CITE:E14。另外,NVIDIA公布的Scale-In架構數據顯示,新架構可讓AI factory VPC網路效能提高最高18倍,儲存網路效能提高2倍,並透過BlueField-4 ASTRA controller執行AI工廠的控制平面CITE:E6。

Spectrum-X SN6000交換器與XGS加速工具的技術細節是什麼?

NVIDIA的Spectrum-X SN6000系列交換器,採用102.4 Tb/s的Spectrum-6乙太網路ASIC,專為Vera Rubin NVL72 AI工廠打造CITE:E17。該交換器搭配ConnectX-9 SuperNIC,可支援每個GPU最高達1,600 Gb/s的頻寬CITE:E17。Spectrum-XGS乙太網路則將相同的協同設計延伸至跨資料中心環境,使多座設施能如同單一AI超級工廠般運作,並將多站點NCCL集合通訊加速1.9倍CITE:E18。

Spectrum-X Multiplane如何支撐數十萬顆GPU的規模化與容錯設計?

NVIDIA的Spectrum-X Multiplane在8平面架構中,即使一個平面故障仍可維持約90%總頻寬CITE:E7。硬體負載平衡機制的故障恢復速度最高可達軟體式方案的11倍;相較一般現成乙太網路,AI Factory Goodput可提升約1.6倍CITE:E7。NVIDIA官方部落格公布的八平面拓撲數據與此一致:單一平面故障時同樣維持約90%總頻寬,硬體復原速度比軟體式多平面負載平衡快11倍,使AI工廠產出提升1.6倍CITE:E16。在擴展規模上,Spectrum-X Multiplane可把雙層網路擴展至最多51.2萬顆Rubin GPU,並降低所需交換器數量CITE:E8;NVIDIA官方部落格則以512,000顆GPU表述同一擴展上限,強調無需承擔第三層網路帶來的額外成本與複雜性CITE:E15。CoreWeave正在生產環境部署這套架構,用來連接Vera Rubin機架CITE:E8。

Nebius、SpaceX、CoreWeave等業者的部署案例與進度如何?

Nebius、SpaceX與CoreWeave已分別在雲端與生產環境部署NVIDIA新一代AI工廠架構CITE:E4。Nebius將成為首批在雲端採用Groq 3 LPX的業者之一CITE:E4,NVIDIA官方部落格並證實,Nebius成為首家採用Groq 3 LPX的AI雲端CITE:E13。最新資訊顯示,SpaceX將在生產環境中大規模部署Vera CPU,用於下一代Agentic AI應用CITE:E5;SpaceXAI也宣布將採用NVIDIA Vera CPU,驅動其下一代代理型AICITE:E11。CoreWeave已在生產環境部署Spectrum-X Multiplane,透過多組平行交換器連接NVIDIA Vera Rubin機架,打造高頻寬、扁平化且無損的AI網路CITE:E12。

這代表什麼

從Hot Chips 2026現場數據與NVIDIA官方部落格的相互印證來看,Vera Rubin NVL72、Groq 3 LPX與Spectrum-X Multiplane的效能數字高度一致——無論是10萬token情境下約4倍的輸出速度優勢,或是51.2萬顆(512,000顆)GPU的擴展上限與90%故障後頻寬維持率,兩個獨立來源公布的數字幾乎重疊。這代表NVIDIA所描述的AI工廠架構,已從單一場合的展示數據,進入Nebius、SpaceX、CoreWeave三家生產環境的實際部署階段。