Amazon SageMaker HyperPod が継続的プロビジョニングによる Slurm クラスターのディープヘルスチェックのサポートを開始
Amazon SageMaker HyperPod は、継続的プロビジョニングによって作成され、Slurm でオーケストレーションされたクラスター向けに、ディープヘルスチェックをサポートするようになりました。これにより、実行中のインスタンス上で GPU アクセラレーターの正常性をいつでもプロアクティブに検証できます。継続的プロビジョニングにより、トレーニングを迅速に開始し、オールオアナッシングの失敗を伴うことなく、インスタンスグループを非同期でスケールできます。この柔軟性と、インスタンスがオンラインになる際の包括的なハードウェア検証を組み合わせることができるようになりました。この機能は、異常なノードが 1 つでもあると何時間ものコンピューティング処理が無駄になり、重要なワークロードを遅延させる可能性があるという重大な課題に対処するものです。
ディープヘルスチェックでは、コンピューティングリソースをジョブに割り当てる前に、インスタンスグループ全体または特定のインスタンスを対象として、包括的なハードウェアストレステストと接続テストを実行できます。継続的プロビジョニングでは、容量が利用可能になると、Slurm クラスターにワーカーノードが非同期的に追加されるため、新しいノードがオンラインになるたびにディープヘルスチェックを実行できます。これにより、正常なノードで既に実行されているワークロードを中断することなく、ジョブをスケジュールする前にハードウェアを検証できます。進捗状況と結果は、SageMaker コンソールと API を通じてインスタンスグループレベルとインスタンスレベルの両方で表示でき、GPU の正常性、ネットワーク接続、マルチノード通信パフォーマンスを完全に可視化できます。チェック中のインスタンスは、ワークロードのスケジューリングから自動的に分離され、チェックに合格するとサービスに復帰します。HyperPod の自動ノードリカバリ機能と組み合わせると、チェックで不合格だったインスタンスは自動的に再起動または置換され、クラスターの正常性が確保されます。
この機能は、Amazon SageMaker HyperPod を利用できるリージョンすべてで利用可能です。オンデマンドのディープヘルスチェックと継続的プロビジョニングの詳細については、Amazon SageMaker HyperPod のユーザーガイドを参照してください。