Amazon SageMaker HyperPod で Karpenter を使用した自動スケーリングのサポートを開始
Amazon SageMaker HyperPod で、Karpenter を使用したマネージドノード自動スケーリングのサポートを開始しました。これにより、お客様は動的な推論とトレーニングの需要に合わせてクラスターを自動的にスケールできるようになります。リアルタイム推論ワークロードの場合、自動スケーリングによってコストを最適化しながら予測不能なトラフィックパターンに対処し、サービスレベルアグリーメントを維持する必要があります。しかし、複雑な自動スケーリングソリューションのインストール、設定、保守に伴う運用上のオーバーヘッドに多くの組織が悩まされています。HyperPod が管理するノードの自動スケーリングにより、Karpenter のセットアップと保守に伴う差別化につながらない面倒な作業が不要になると同時に、レジリエンスと耐障害性の統合機能を利用できるようになります。
HyperPod での Karpenter を使用した自動スケーリングにより、お客様はジャストインタイムのプロビジョニングを実現し、推論トラフィックの急増に GPU コンピューティングを迅速に適応させることができます。専用のコントローラーインフラストラクチャを維持しなくても、需要の少ない期間にはノードをゼロまでスケールできます。また、ワークロードに応じたノード選択により、インスタンスのタイプとコストを最適化できます。推論ワークロードの場合、本番トラフィックの急増に対処するための自動容量スケーリング、アイドル期間中のインテリジェントなノード統合によるコスト削減、KEDA などのイベント駆動型ポッドオートスケーラーとのシームレスな統合が可能です。トレーニングワークロードの場合は、モデル開発サイクル中にリソースが自動的に最適化されるという利点もあります。HyperPod では、UpdateCluster API を使用して自動スケーリングを有効にできます。有効にするには、AutoScaling モードを「Enable」に、AutoScalerType を「Karpenter」に設定します。
この機能は、Amazon SageMaker HyperPod EKS クラスターがサポートされているすべての AWS リージョンでご利用いただけます。SageMaker HyperPod での Karpenter を使用した自動スケーリングの詳細については、ユーザーガイドとブログをご覧ください。