科技專題

資料中心液冷崛起:AI晶片功耗逼近氣冷極限,直接晶片與浸沒式散熱如何接手

N
Nathan科技編輯 · 技術負責人
發布 · 更新
NVIDIA H100晶片熱設計功耗達700瓦,機櫃密度逼近50千瓦已超出傳統氣冷能力上限,直接晶片液冷與浸沒式液冷因此成為資料中心的主要因應手段;液冷可讓新建機房PUE壓低到1.3,微軟藉此將用水效率從0.49降至0.30公升/度,NVIDIA GB200 NVL72並在相同功耗下提供25倍效能。

為何機房必須從氣冷轉向液冷?

NVIDIA H100 SXM版晶片的最大熱設計功耗達700瓦,是機房捨棄氣冷的根本驅動力CITE:E1。H100 PCIe版熱設計功耗則為350瓦,採用台積電(TSMC)4N製程、內含800億顆電晶體,單晶片發熱密度已逼近氣冷散熱能力的上限CITE:E1。Vertiv指出,當機櫃功率密度升到約20千瓦並快速逼近50千瓦,傳統機房氣冷已被推到能力極限,這正是HPC與AI機櫃必須導入液冷的臨界點CITE:E2

直接晶片液冷(DLC)如何運作、導熱效率有多高?

直接晶片液冷(DLC)以冷板讓冷卻液直接流經晶片表面帶走熱能CITE:E3。Vertiv表示,這種做法的導熱效率約為單靠氣冷的3,000倍CITE:E3

浸沒式液冷如何運作、散熱容量有多大?

浸沒式液冷把整台伺服器泡入介電冷卻液中,可吸收元件100%的熱能CITE:E4。做法分為液體循環但不沸騰的單相式,以及液體在晶片表面沸騰汽化再冷凝的兩相式兩種;Vertiv表示,單槽(42或52機架單位)散熱容量最高可達100千瓦CITE:E4

液冷對機房能效(PUE)帶來什麼改善?

Uptime Institute調查顯示,全球資料中心2024年平均PUE已連續多年停在1.56CITE:E5。該調查同時指出,採用直接液冷等新設計的新建機房可穩定達到1.3、甚至更低CITE:E5。NVIDIA表示,機櫃級液冷平台GB200 NVL72整合72顆Blackwell GPU,相較H100氣冷架構,在相同功耗下提供25倍效能CITE:E7

液冷如何降低機房用水量?

微軟(Microsoft)表示,新機房設計每年可為每座資料中心省下逾1.25億公升水CITE:E6。微軟的機房平均用水效率(WUE)已從2021年的0.49公升/度,降到最近一個財年的0.30公升/度,提升39%CITE:E6。NVIDIA並表示,GB200 NVL72相較H100氣冷架構,在提供25倍效能的同時也降低了用水量CITE:E7

關鍵數字一覽

指標數值證據
H100 SXM熱設計功耗(TDP)700瓦E1
H100 PCIe熱設計功耗(TDP)350瓦E1
H100電晶體數量800億顆E1
機櫃氣冷密度極限20→50千瓦E2
DLC導熱效率(相對氣冷)約3,000倍E3
浸沒式液冷單槽散熱容量最高100千瓦(42/52機架單位)E4
浸沒式液冷熱吸收率100%E4
全球資料中心平均PUE(2024)1.56E5
新建機房PUE1.3以下E5
微軟WUE(2021→最近財年)0.49→0.30公升/度(提升39%)E6
微軟機房年省水量逾1.25億公升E6
GB200 NVL72整合GPU數72顆Blackwell GPUE7
GB200相對H100同功耗效能25倍E7

這代表什麼

把晶片功耗、機櫃密度與液冷方案的數字並列可見:700瓦的H100熱設計功耗與逼近50千瓦的機櫃密度,是氣冷退場、直接晶片液冷與浸沒式液冷登場的直接原因;而PUE從1.56降至1.3、微軟WUE從0.49降至0.30公升/度、GB200 NVL72在相同功耗下提供25倍效能,則顯示液冷同時牽動機房的能效與用水表現。

📊 證據與數據

常見問題

為何機房必須從氣冷轉向液冷?

NVIDIA H100 SXM版晶片的最大熱設計功耗達700瓦,是機房捨棄氣冷的根本驅動力CITE:E1。H100 PCIe版熱設計功耗則為350瓦,採用台積電(TSMC)4N製程、內含800億顆電晶體,單晶片發熱密度已逼近氣冷散熱能力的上限CITE:E1。

直接晶片液冷(DLC)如何運作、導熱效率有多高?

直接晶片液冷(DLC)以冷板讓冷卻液直接流經晶片表面帶走熱能CITE:E3。Vertiv表示,這種做法的導熱效率約為單靠氣冷的3,000倍CITE:E3。

浸沒式液冷如何運作、散熱容量有多大?

浸沒式液冷把整台伺服器泡入介電冷卻液中,可吸收元件100%的熱能CITE:E4。做法分為液體循環但不沸騰的單相式,以及液體在晶片表面沸騰汽化再冷凝的兩相式兩種;Vertiv表示,單槽(42或52機架單位)散熱容量最高可達100千瓦CITE:E4。

液冷對機房能效(PUE)帶來什麼改善?

Uptime Institute調查顯示,全球資料中心2024年平均PUE已連續多年停在1.56CITE:E5。該調查同時指出,採用直接液冷等新設計的新建機房可穩定達到1.3、甚至更低CITE:E5。

📎 資料來源

  1. NVIDIA — GB200 NVL72
  2. NVIDIA H100 Datasheet (PDF)
  3. Vertiv — Direct-to-Chip Liquid Cooling
  4. Vertiv — Immersion Cooling
  5. Uptime Institute — Global Data Center Survey 2024
  6. Microsoft — Zero-Water Datacenter Design

延伸數據

作者觀點Nathan

從700瓦的NVIDIA H100,到整合72顆Blackwell GPU的GB200 NVL72,液冷已從晶片層級的散熱補強,變成機櫃級架構的一部分。微軟WUE從0.49降至0.30公升/度、新建機房PUE可壓到1.3,顯示液冷效益同時反映在能效與用水兩項指標,而非只解決散熱本身。後續可追蹤的指標,是採用液冷的新建機房比例,能否讓資料中心整體PUE從目前1.56的產業平均值,實際往1.3推進。

N
Nathan科技編輯 · 技術負責人

相關文章

專題

太陽能+儲能:人工智慧(AI)資料中心現在最務實的電力解方

太陽能發電成本十年間下降近九成,已低於天然氣,搭配均價每度115美元的鋰電池儲能後可延伸供電至夜間;2024年全球新增553GW太陽能,亞利桑那案場更已實際為Meta資料中心供電,但24小時基載仍需天然氣或核能等可調度電源補足。

Nathan ·