Amazon SageMaker HyperPod が生成 AI タスクで NVIDIA マルチインスタンス GPU (MIG) をサポート
Amazon SageMaker HyperPod は NVIDIA マルチインスタンス GPU (MIG) テクノロジーをサポートするようになりました。これにより、管理者は単一の GPU を複数の分離された GPU に分割できるようになります。この機能により、管理者は、パフォーマンスとタスクの分離を維持しながら、GPU パーティション上でさまざまな小規模の生成 AI (GenAI) タスクを同時に実行することで、リソースの使用率を最大化できます。
管理者は、SageMaker HyperPod コンソールの使いやすい設定方法を選択するか、GPU の全容量を必要としない特定のタスク要件に合わせて、きめ細かいハードウェア分離リソースを有効にするカスタムセットアップアプローチを選択できます。また、コンピューティングクォータを割り当てて、チーム全体に GPU パーティションを公平かつ効率的に分散させることもできます。GPU パーティション全体にわたるリアルタイムのパフォーマンスメトリクスとリソース使用率監視ダッシュボードにより、管理者は情報を可視化してリソース割り当てを最適化できます。データサイエンティストは、軽量の推論タスクをスケジュールし、インタラクティブなノートブックを GPU パーティション上で並行して実行することで、GPU が完全に利用できるようになるまで待つ必要がなくなりました。
この機能は現在、米国西部 (オレゴン)、米国東部 (バージニア北部)、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オハイオ)、米国西部 (北カリフォルニア)、カナダ (中部)、南米 (サンパウロ)、欧州 (ストックホルム)、欧州 (スペイン)、欧州 (アイルランド)、欧州 (フランクフルト)、欧州 (ロンドン)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (メルボルン)、アジアパシフィック (東京)、アジアパシフィック (シドニー)、アジアパシフィック (ソウル)、アジアパシフィック (シンガポール) の各 AWS リージョンで EKS オーケストレーターを使用して Amazon SageMaker HyperPod クラスターで利用できます。
詳細については、SageMaker HyperPod のウェブページおよび SageMaker HyperPod のドキュメントをご覧ください。