Cosmos3-Edge、Cosmos3-Nano、および Cosmos3-Super モデルが Amazon SageMaker JumpStart で利用可能に
NVIDIA の Cosmos3-Edge、Cosmos3-Nano、および Cosmos3-Super モデルが Amazon SageMaker JumpStart で利用可能になり、AWS をご利用のお客様に提供される基盤モデルのポートフォリオが拡充されました。これら 3 つのモデルは、フィジカル AI 向けオープンかつ最先端のオムニモーダル世界モデルである Cosmos 3 ファミリーを構成し、お客様が物理世界で認識、推論、計画、行動を行うロボット、自動運転車、ビジョン AI を構築できるようにします。
これらのモデルは、次のような専門的な機能によって、フィジカル AI のさまざまな課題に対応します。
Cosmos3-Edge は、エッジハードウェア上でのオンデバイスロボット制御およびリアルタイムの視覚的推論向けに設計されています。40 億パラメータのこのオムニモデル (20 億パラメータの Nemotron ベースの推論器を内蔵) は、ロボット制御に適した解像度 (640×360) で動作し、NVIDIA Jetson Thor 上でリアルタイム推論を行いながら 15 Hz の速度で 1 回の推論につき 32 個のアクションを生成します。12～30 FPS での 256p および 480p 動画に対応し、最先端のフィジカル AI 機能を組み込みシステムで直接使用できます。
Cosmos3-Nano は、160 億パラメータのコンパクトなオムニモーダルモデルであり、物理法則を考慮した世界生成および物理的推論に優れています。テキスト、画像、動画、音声、および行動軌跡の組み合わせを処理して、対応する出力を生成することで、ロボットやビジョン AI エージェントが事前知識、物理的な理解、および常識を用いて推論できるようにします。最大 720p 解像度のテキスト、画像、および動画に対する Chain-of-Thought 推論をサポートしています。
Cosmos3-Super のパラメータ数は 640 億であり、Cosmos 3 ファミリーの中で最高精度の世界生成およびシミュレーションを提供します。統合された Mixture-of-Transformers アーキテクチャ内で言語、画像、動画、音声、およびアクションシーケンスを同時に処理および生成し、複数のアスペクト比で最大 720p の解像度をサポートします。大規模シミュレーション、合成データ生成、ポリシー学習ワークフローに最適です。
SageMaker JumpStart を使用すると、お客様は数回クリックするだけでこれらのモデルをデプロイし、特定の AI ユースケースに対応できます。
これらのモデルの使用を開始するには、SageMaker コンソールの SageMaker JumpStart モデルカタログにアクセスするか、SageMaker Python SDK を使用して AWS アカウントにモデルをデプロイしてください。SageMaker JumpStart での基盤モデルのデプロイと使用方法の詳細については、Amazon SageMaker JumpStart のドキュメントをご覧ください。