NVIDIA發表Nemotron 3系列開源模型，支援企業建構透明、高效代理式AI

NVIDIA發表Nano、Super、Ultra等3種不同量體的Nemotron 3開源模型，協助企業根據執行裝置的規模，快速建構代理式AI服務。

Nemotron 3 Nano主打輕量應用

隨著企業從使用單個AI模型的聊天機器人，提升至使用由多個AI模型共同協作的代理式AI系統（Agentic AI），雖然能夠強化AI所帶來的生產力，但隨之而來的是資料傳輸虛耗（Communication Overhead）、上下文漂移（Context Drift，指AI的回應隨時間變化），以及更高運算需求造成的成本升高。另一方面，日益複雜的多組模型組合與工作流程也會降低整體系統的透明，影響企業採用的信任感。

NVIDIA推出的Nemotron 3提供Nano、Super和Ultra等3種不同參數量的開源模型，並引入了突破性的混合專家混合（Mixture of Experts，MoE）架構，協助開發者建置和部署大規模多模態代理式AI系統。

Nemotron 3 Nano的模型為30B組參數（300億），並在MoE架構下僅啟用其中3B組活躍參數（30億），它適合應用於軟體除錯（Debug）、內容摘要、AI 助手、資訊檢索等特定任務。與Nemotron 2 Nano相比，其字詞（Token）吞吐量提升至4倍，推理過程消耗的字詞減達60%，能夠顯著降低推理成本，次外它也有高達100萬字詞的上下文窗口（Context Window），有助於記憶更多資訊，並在長期連接時提供更準確的回應。

▲ NVIDIA推出Nemotron 3系列開源模型，協助企業快速建構代理式AI服務。

▲ NVIDIA執行長黃仁勳於Computex台北國際電腦展2025主題演說中提到，代理式AI將運算拆分為「理解、思考、行動」等階段，中間過渡產生的字詞數將達到傳統方式的100至1000倍，其優勢為能夠在多模態模型的協助下，解決更複雜的問題，並得到更具實用價值的答案。

▲ NVIDIA執行長黃仁勳於GTC 2025春季場開幕演說中說明推理式AI（Reasoning AI）採用的測試時訓練（Test-Time Training），這種概念會將問題拆分為多個次要部分並按部就班進行「多方思考」與「反覆思考」，並且參考過渡期的答案反問是否合理。若在測試時訓練導入可驗證獎勵強化學習（Reinforcement Learning with Verifiable Reward，RLVR）甚至會讓運算過程產生的字詞數達到100T的數量級。

進階用途選擇Super與Ultra

Nemotron 3 Super具有100B組參數與10B組活躍參數，適用於多模態代理式AI應用，擅長需要整合多種AI模型的多模態推論協作，並能快速完成複雜任務的。

Nemotron 3 Ultra屬於大型推理引擎，具有500B組參數與50B組活躍參數，能夠勝任更複雜的AI使用情境，適用於需要深度研究和策略規劃的AI工作流程。

值得注意的是，Nemotron 3 Super和Ultra支援在NVIDIA Blackwell架構的繪圖處理器（GPU）以NVIDIA獨家的NVFP4（4bit精度浮點數）資料類型進行模型訓練，能夠有效降低記憶體佔用量，並提升訓練速度，使得企應用戶能夠在現有基礎設施上訓練參數量更多的模型，而不用犧牲精確度。

▲ NVFP4是使用4bit精度的資料類型，能夠在AI訓練與推論運算時節省運算資源與占用的記憶體容量、傳輸頻寬，並提供接近BF16的精確度。。

▲ NVIDIA推出的Nemotron 3系列開源模型具有Nano、Super和Ultra等3種不同參數量的分枝，並採用混合專家混合架構，提供不同量級的解決方案並可節省運作時的運算資源消耗。

Nemotron 3 Nano現已在Hugging Face推出，同時透過Baseten、Deepinfra、Fireworks、FriendliAI、OpenRouter、Together AI等服務商提供支援， Nemotron 3 Super和Ultra預計於2026年上半年發布。