Amazon ECS が Amazon EC2 G6f インスタンスでのフラクショナル GPU のスケジューリングをサポート開始
Amazon Elastic Container Service (Amazon ECS) では、Amazon EC2 G6f インスタンスでのフラクショナル GPU のスケジューリングをサポートするようになりました。これにより、NVIDIA L4 Tensor Core GPU (GPU メモリ 3 GB) の 8 分の 1という小さな単位の GPU パーティションでワークロードを実行できます。フラクショナル GPU を使用すると、小規模モデルの AI 推論、モデルの実験、グラフィックスレンダリングなど、GPU 全体を必要としないワークロードに合わせてコンテナを適切なサイズに調整できるため、GPU インスタンス全体をプロビジョニングする場合と比べてインフラストラクチャのコストを削減できます。
フラクショナル GPU をリクエストするには、Amazon ECS タスク定義のコンテナ定義で GPU=0.125、GPU=0.25、GPU=0.5 のいずれかを設定します。そうすると、Amazon ECS はリクエストを満たす G6f インスタンスにタスクを配置します。フラクショナル GPU の設定は、Amazon ECS マネージドインスタンスと Amazon ECS on EC2 の両方でサポートされています。ECS マネージドインスタンスでは、インスタンスのプロビジョニング、スケーリング、パッチ適用、ライフサイクル管理を ECS が自動的に処理するフルマネージド環境が提供されるため、インフラストラクチャの運用ではなく GPU ワークロードに集中できます。また、ECS マネージドインスタンスには、Amazon CloudWatch Container Insights による GPU メトリクスや、GPU のハードウェア障害を検出して異常なインスタンスを置き換えることでワークロードの中断を最小限に抑える自動ヘルスモニタリングなど、高速化されたワークロード向けに構築された機能が含まれています。
この機能は、Amazon EC2 G6f インスタンスが提供されているすべての AWS リージョンで利用できます。使用を開始するには、AWS マネジメントコンソール、AWS CLI、AWS SDK、AWS CloudFormation、またはその他の Infrastructure as Code ツールを使用して、G6f インスタンスを含むキャパシティプロバイダーを設定し、ECS タスク定義のコンテナ定義でフラクショナル GPU の値を指定してください。詳細については、Amazon ECS のフラクショナル GPU のドキュメントおよび Amazon EC2 G6 インスタンスのページをご覧ください。