AI快訊

NVIDIA Nemotron開源模型:企業與各國如何獲得可信任、可控管、可客製的AI

N
Nathan科技編輯 · 技術負責人
發布 · 更新
根據輝達(NVIDIA)部落格文章報導,多家企業以開源Nemotron模型進行後訓練,在法律、醫療、搜尋等場景取得與閉源前沿模型相當的準確率,而Arcee AI稱推理成本降至約每百萬輸出token 90美分,較同等閉源模型便宜約20倍。

定製化能力:Nemotron如何支援法律、臨床、本地語言等垂直領域部署?

根據輝達(NVIDIA)部落格文章報導,多家企業已在自身資料上對Nemotron進行後訓練,打造專屬垂直領域模型。法國AI新創H Company以Nemotron 3 Nano Omni為基礎,搭配專有電腦操作資料進行後訓練,打造出Holotron 3 Nano。NVIDIA部落格指出,該模型在電腦任務基準測試OSWorld-Verified上達到超過76%的準確率,H Company表示其表現可與其他前沿模型匹敵,而成本僅為一小部分。

法律科技公司Harvey則針對自家法律基準,對Nemotron 3 Ultra進行後訓練。根據NVIDIA部落格報導,Harvey表示該模型在複雜法律任務上「達到前沿等級準確率」,與領先閉源模型相當(詳細成本數據見下節)。

在本地語言與臨床場景,馬來西亞的YTL AI Labs對一款Nemotron模型進行後訓練以支援馬來語,NVIDIA表示此舉讓馬來西亞開發者社群得以使用本地化定製AI,以提升其AI能力。醫療對話新創Abridge正在客製化Nemotron,依NVIDIA部落格所述,打造其所稱「首個專為臨床對話設計的基礎模型」。另一家醫療科技公司Heidi Health則表示,其在臨床文件記錄方面達成「前沿品質」成果,且無需前沿等級的運算規模。

成本效益:開源Nemotron相比閉源模型的成本優勢有多大?

根據NVIDIA部落格文章報導,多家企業各自公布了以Nemotron取代閉源前沿模型後的成本數據:

企業應用場景使用模型成本/效能數據(依企業自述)
Harvey法律任務Nemotron 3 Ultra每次運行成本較閉源模型低至少10倍
LangChain代理框架(Deep Agents)Nemotron 3 Ultra較領先閉源替代方案成本低約10倍
Arcee AI通用推理(NVIDIA Blackwell平台)Nemotron每百萬輸出token約90美分,約為同等閉源前沿模型的20分之一

Harvey表示,其法律基準測試中Nemotron 3 Ultra達到與領先閉源模型相當的準確率,每次運行成本至少低10倍。LangChain則在不重新訓練模型、僅調整提示詞、工具與中介層的情況下,為Nemotron 3 Ultra調校Deep Agents框架,NVIDIA部落格指出其成本約為領先閉源替代方案的十分之一。Arcee AI在NVIDIA Blackwell平台上對Nemotron進行後訓練,達成每百萬輸出token約90美分的推理成本,NVIDIA稱約為同等閉源前沿模型的20分之一。

性能驗證:Nemotron在基準測試與實際應用中的表現如何?

除了成本數據,NVIDIA部落格文章也列出多項效能驗證結果。H Company的Holotron 3 Nano在OSWorld-Verified基準測試上達到超過76%準確率。LangChain表示,調校後的Nemotron 3 Ultra在Deep Agents框架中,於開源模型中取得最高代理準確率。Arcee AI則表示,其以Nemotron為基礎的模型在PinchBench排名第二,同時維持完全開放權重。

企業搜尋公司Glean建立了名為Waldo的代理搜尋模型,結合Nemotron與更大型的閉源模型。根據NVIDIA部落格報導,Glean表示Waldo能「以顯著更低的延遲和更少的token」提供企業搜尋服務。

信任與控制:開放權重與生態協作如何重塑企業對AI的信任?

NVIDIA部落格文章強調,Arcee AI在達成約20分之一成本優勢與PinchBench第二名成績的同時,「保持完全開放權重」——這是其論述開放模型可信度的核心案例之一。

另一方面,NVIDIA宣布成立NVIDIA Nemotron Coalition,依部落格說明,該聯盟旨在將開放模型開發轉變為生態系統努力,匯集模型建構者與開發者,透過共享數據、評估與領域專業知識共同改進Nemotron。

這代表什麼

從Harvey、LangChain到Arcee AI三家獨立企業各自公布的數據看,以Nemotron進行後訓練後的推理成本,分別落在較閉源前沿模型低10倍、約10倍與約20倍的區間,顯示這並非單一案例的個別結果,而是跨企業重複出現的成本型態。但成本優勢不必然等於效能全面領先——Arcee AI在PinchBench上僅排名第二,顯示開源模型在追求成本效益的同時,仍可能與效能最頂尖的閉源模型存在差距。與此同時,Abridge的臨床對話模型、YTL AI Labs的馬來語模型與H Company的電腦操作模型,分別代表醫療、本地語言與代理任務三種不同的定製路徑,而NVIDIA以完全開放權重與Nemotron Coalition的生態協作機制,將這些分散的定製案例與成本數據綁定在同一套開放模型論述之中,這是輝達(NVIDIA)部落格文章呈現企業與各國採用Nemotron邏輯的整體脈絡。

📊 證據與數據

📎 資料來源

  1. blogs.nvidia.com
N
Nathan科技編輯 · 技術負責人

相關文章