SageMaker HyperPod がクラスターを動的に利用するためのアイドルリソース共有のサポートを開始
Amazon SageMaker HyperPod のタスクガバナンスが動的リソース共有をサポートするようになったため、チームは保証されたクォータを超えて HyperPod クラスター内の未割り当てのコンピューティングキャパシティを借りることができます。管理者は、アクセラレーター、vCPU、メモリなどの特定のリソースタイプに借用制限を設定することで、チーム間での公平な分散を保証できます。
生成 AI ワークロード用の共有コンピューティングクラスターを実行している管理者は、多くの場合、リソースが十分に活用されないという課題に直面します。データサイエンティストが割り当てられたクォータを完全に使用しなければ、高価なコンピューティングインスタンスはアイドル状態のままになります。アイドル状態のリソース共有は、割り当てられていないクラスター容量を自動的に特定し、チームがベストエフォートベースでそれを借りられるようにすることで、この課題を解決します。HyperPod のタスクガバナンスはクラスターの状態を監視し、インスタンスやコンピューティングクォータポリシーが変更されたときに借用可能なリソースを自動的に再計算するので、手動での設定は不要です。パーティション化された GPU 構成のインスタンスを含め、準備が整っていてスケジュール可能な状態にある適格なインスタンスは、未割り当てのコンピューティングキャパシティの借用可能なプールに含まれます。管理者は、アイドル状態のコンピューティングのパーセンテージベースの借用制限に加えて、絶対的な借用制限を定義することもできます。これにより、管理者はコンピューティング使用率を最大化し、アイドル状態のキャパシティをチーム間でどのように分散するかをきめ細かく制御できると同時に、各チームのコンピューティングクォータの分離を保証できます。
この機能は現在、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、アジアパシフィック (ムンバイ)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、アジアパシフィック (ジャカルタ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (ストックホルム)、欧州 (スペイン)、南米 (サンパウロ) の各 AWS リージョンの EKS オーケストレーターを使用する Amazon SageMaker HyperPod クラスターで利用できます。
詳細については、SageMaker HyperPod ウェブページおよび HyperPod のタスクガバナンスのドキュメントをご覧ください。