Cosmos3-Edge、Cosmos3-Nano 和 Cosmos3-Super 模型現已在 Amazon SageMaker JumpStart 提供
NVIDIA 的 Cosmos3-Edge、Cosmos3-Nano 和 Cosmos3-Super 模型現已在 Amazon SageMaker JumpStart 提供,擴充了 AWS 客戶可用的基礎模型組合。這三個模型組成 Cosmos 3 開放式前沿全模態世界模型系列,專為實體 AI 設計,讓客戶能建置可在實體世界中感知、推理、規劃及採取行動的機器人、自駕車和視覺 AI。
這些模型以其專精能力解決不同的實體 AI 挑戰:
Cosmos3-Edge 專為邊緣硬體上的裝置上機器人控制和即時視覺推理打造。這個 40 億參數全模態模型 (搭載以 20 億參數 Nemotron 為基礎的推理器) 以機器人控制解析度 (640×360) 運作,在 NVIDIA Jetson Thor 上以 15 Hz 提供即時推理,並在每次推論產生 32 個動作。它支援 256p 和 480p 影片,幀率為 12–30 FPS,將前沿實體 AI 功能直接帶入嵌入式系統。
Cosmos3-Nano 作為精巧的 160 億參數全模態模型,擅長具備物理感知的世界生成和實體推理。它會處理文字、影像、影片、音訊和動作軌跡的組合以產生對應輸出,讓機器人和視覺 AI 代理程式能運用先備知識、物理理解和常識進行推理。它支援對文字、影像和影片進行思維鏈推理,解析度最高可達 720p。
Cosmos3-Super 以 640 億參數提供 Cosmos 3 系列中最高保真度的世界生成和模擬。它會在統一的變壓器混合架構中共同處理並生成語言、影像、影片、音訊和動作序列,支援多種長寬比,解析度最高可達 720p。非常適合大規模模擬、合成資料生成和政策學習工作流程。
透過 SageMaker JumpStart,客戶只需點擊幾下,即可部署任何一種模型來滿足其特定 AI 使用案例。
若要開始使用這些模型,請前往 SageMaker 主控台中的 SageMaker JumpStart 模型目錄,或使用 SageMaker Python SDK 將模型部署至您的 AWS 帳戶。如需在 SageMaker JumpStart 中部署與使用基礎模型的詳細資訊,請參閱 Amazon SageMaker JumpStart 文件。