Amazon SageMaker AI 推論でリアルタイムエンドポイントの GPU パーティショニングが利用可能に
Amazon SageMaker AI 推論で GPU パーティショニングがサポートされるようになりました。これにより、モデルごとにアクセラレーター全体を割り当てる代わりに、1 つの GPU で複数のモデルを実行できます。SageMaker AI は、NVIDIA Multi-Instance GPU (MIG) 技術を使用して、1 つの GPU を最大 7 つの独立したパーティションに分割します。各パーティションには、それぞれ専用のメモリとコンピューティングリソースが割り当てられます。これまで、ファインチューニングされた派生モデル、埋め込みモデル、リランカー、分類モデルなどの小規模から中規模のモデルを運用する場合、モデルごとにアクセラレーター全体を割り当てる必要がありました。そのため、インスタンスに配置できるモデルの数は GPU の数以下に制限され、モデルが使い切れない GPU の処理能力に対しても料金が発生していました。
GPU パーティショニングでは、エンドポイントで使用する GPU の分割方法を指定し、各モデルの要件に合ったサイズのパーティションに配置できます。1 つのアクセラレーターで複数のモデルを実行しても、ハードウェアによってリソースが分離されるため、特定のモデルの負荷が高くなっても、同じ GPU 上の他のモデルに割り当てられたメモリやスループットを消費することはありません。アクセラレーターをワークロードの規模に合わせて調整できるため、従来は単一のモデルに対して容量が過剰だった新しい世代のインスタンスも、選択肢に加えられます。GPU パーティショニングは、推論コンポーネントをホストするエンドポイントの作成時に設定します。各モデルは引き続き名前で呼び出せるため、アプリケーションコードを変更する必要はありません。
GPU パーティショニングは、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、アジアパシフィック (シンガポール)、アジアパシフィック (東京)、欧州 (フランクフルト)、欧州 (アイルランド) の P4d、P5、G7、G7e インスタンスで利用できます。詳細については、Amazon SageMaker AI のデプロイページにアクセスし、Amazon SageMaker AI デベロッパーガイドを参照してください。