Amazon ECS が NVIDIA Multi-Process Service (MPS) による GPU 共有をサポート
Amazon Elastic Container Service (Amazon ECS) で、NVIDIA Multi-Process Service (MPS) による GPU 共有がサポートされるようになりました。これにより、1 つの NVIDIA GPU で複数の Amazon ECS タスクを同時に実行できます。GPU 共有は、小規模モデル推論、AV/ADAS シミュレーション、埋め込み生成、マルチモデルサービングなど、GPU の容量の一部しか使用しないワークロードについて、GPU 使用率を高め、インフラストラクチャコストを削減するのに役立ちます。
GPU 共有を使用すると、アプリケーションコードを変更することなく、各 GPU インスタンスにより多くのワークロードを集約できます。各コンテナに必要な GPU メモリを定義し、必要に応じて GPU コンピューティングの最大割合を設定できます。また、サービスのスケーリングやデプロイに合わせて、Amazon ECS が利用可能な容量のある GPU にタスクを配置します。GPU 共有は、Amazon ECS Managed Instances と Amazon EC2 上の Amazon ECS でサポートされています。Amazon ECS Managed Instances では、各インスタンスで共有を可能にする MPS 制御デーモンも Amazon ECS がモニタリングします。デーモンが停止したり異常な状態になったりした場合は、Amazon ECS が自動的にインスタンスを置き換え、タスクを正常なキャパシティに移動するため、手動で介入しなくても GPU ワークロードの実行が継続されます。
使用を開始するには、AWS マネジメントコンソール、AWS CLI、AWS SDK、AWS CloudFormation、またはその他の Infrastructure as Code ツールを使用して、NVIDIA GPU インスタンスを使用するキャパシティプロバイダーを作成し、タスク定義のコンテナ定義で GPU 共有戦略とメモリを設定してから、そのキャパシティプロバイダーでサービスを作成します。この機能は、AWS のすべての商用リージョンおよび AWS GovCloud (米国) リージョンで利用できます。詳細については、Amazon ECS の GPU 共有に関するドキュメントを参照してください。