NVIDIA Nemotron 3.5 Lightning モデルが Amazon SageMaker JumpStart で利用可能に
NVIDIA の Nemotron 3.5 Lightning が Amazon SageMaker JumpStart で利用できるようになりました。これにより、AWS のお客様は、継続的に稼働するエージェントワークロードや迅速なタスク実行に、同クラスで最速のオープンモデルを使用できます。
Nemotron 3.5 Lightning は、パーソナルアシスタント、財務ドキュメント処理、サイバーセキュリティトリアージ、通信業務など、さまざまな分野で継続的に稼働するエージェントや高スループットのエンタープライズオートメーション向けに設計されています。合計 300 億個のパラメータを備えたハイブリッド Mixture-of-Experts (MoE) アーキテクチャを基盤としており、フォワードパスごとにアクティブ化されるのはわずか 30 億個です。同等のモデルと比較して、最大 4 倍のスループット (約 410 トークン/秒) を達成し、タスク完了を 30% 高速化できます。Nemotron 3 Ultra から蒸留されており、DFlash 投機的デコードを使用して最大 100 万トークンのコンテキストを処理できるほか、一般的なエージェントハーネスと直接統合できます。このモデルはオープンデータセットのみを使用してトレーニングされているため、企業は独自のツール、ワークフロー、ポリシーに合わせて事後トレーニングを行えます。また、エッジ、オンプレミス、クラウドのいずれのインフラストラクチャでも、完全な所有権を維持したままデプロイできます。
SageMaker JumpStart を使用すれば、数回のクリックでこのモデルをデプロイし、それぞれの AI ワークロードに活用できます。
これらのモデルの使用を開始するには、SageMaker コンソールの SageMaker JumpStart モデルカタログにアクセスするか、SageMaker Python SDK を使用して AWS アカウントにモデルをデプロイしてください。SageMaker JumpStart での基盤モデルのデプロイと使用方法の詳細については、Amazon SageMaker JumpStart のドキュメントをご覧ください。