Amazon SageMaker モデルデプロイソフトウェアとドライバーのバージョンをカスタマイズする
投稿日:
2024年9月25日
SageMakerにモデルをデプロイするときに、お客様のニーズに最適なインスタンスで使用されるソフトウェアとドライバーのバージョンを選択できるようになりました。Amazon SageMaker を利用すると、基盤モデル (FM) を含む ML モデルをより簡単にデプロイして、どのようなユースケースでも最高のコストパフォーマンスで推論リクエストを実行できます。
以前は、お客様はエンドポイントの背後にあるマネージドインスタンス上で SageMaker によって定義されたプリセットのソフトウェアとドライバーバージョンを使用する必要がありました。これで、お客様はエンドポイントを設定するときに「inferenceAMIVersion」パラメーターを指定して、要件に最適なソフトウェアとドライバーのバージョン (Nvidia ドライバーや CUDA バージョンなど) の組み合わせを選択できます。これにより、ML アプリケーションのパフォーマンス、互換性、スケーラビリティ、運用上の要件を満たすようにホスティング環境を調整できます。このパラメーターを使用することで、お客様のスケジュールに合わせてエンドポイントのドライバーバージョンをダウングレードおよびアップグレードすることもできます。
この機能は、SageMaker が提供されているすべてのリージョンで利用できます。SageMaker へのモデルのデプロイについて詳しくは、こちらをご覧ください。この機能の詳細については、ドキュメントをご覧ください。