NVIDIA Nemotron 3 Nano 現已在 Amazon Bedrock 上推出
Amazon Bedrock 現在支援 NVIDIA Nemotron 3 Nano 30B A3B 模型，這是 NVIDIA 在高效語言建模方面的最新科技突破，可提供高推論性能、原生工具呼叫支援，以及 256k 字符內容視窗的擴展內容處理功能。此模型採用高效的混合式混合專家 (MoE) 架構，確保針對代理式和編碼工作負載提供比其前代模型更高的輸送量，同時保有更大型模型的推論深度。透過進階強化學習技術及大規模多環境後訓練所提供的明確推論控制和更高的準確性，此模型非常適合需要建置多代理程式工作流程、開發人員生產力工具、流程自動化及科學和數學推理分析等的企業、新創公司和個別開發人員。
Amazon Bedrock 上的 NVIDIA Nemotron 3 Nano 採用 Project Mantle 技術，這是一種全新的分散式推論引擎，適用於在 Amazon Bedrock 上提供服務的大規模機器學習模型。Project Mantle 會簡化並加速將新模型導入 Amazon Bedrock 的流程、提供具有複雜服務品質控制功能的高效能和可靠無伺服器推論、會透過自動化容量管理和統一集區提供更高的預設客戶配額，而且預設會與 OpenAI API 規格相容。
NVIDIA Nemotron 3 Nano 現已適用於美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (奧勒岡)、亞太地區 (東京)、亞太地區 (孟買)、南美洲 (聖保羅)、歐洲 (倫敦) 和歐洲 (米蘭) AWS 區域，並在 Amazon Bedrock 上支援統一和 OpenAI API 相容的服務端點。若要進一步了解並著手使用，請前往 Amazon Bedrock 主控台或此處的服務文件。若要著手使用 Amazon Bedrock OpenAI API 相容服務端點，請瀏覽此處的文件。