Amazon SageMaker HyperPod 現在支援使用 Karpenter 自動調整規模

張貼日期: 2025年9月18日

Amazon SageMaker HyperPod 現在支援使用 Karpenter 的受管節點自動調整規模，讓客戶能夠自動擴展叢集以滿足動態推論和訓練需求。即時推論工作負載需要自動擴展，以在最佳化成本時解決無法預測的流量模式並維護服務層級協議。然而，組織往往在安裝、設定和維護複雜自動調整規模解決方案的營運開銷方面遇到困難。HyperPod 管理的節點自動調整規模功能免去設定和維護 Karpenter 千篇一律的繁重工作，並同時提供已整合的彈性和容錯功能。

Karpenter 搭配 HyperPod 的自動調整規模能讓客戶實現即時佈建、快速調整 GPU 運算，以適應推論流量尖峰。客戶可以在低需求期間縮減至零節點，從而不必維護專用控制器基礎結構，並受益於最佳化執行個體類型和成本的工作負載感知節點選項。對於推論工作負載，這可提供自動容量擴展以處理生產流量激增、在閒置期間透過智慧節點合併降低成本，並與 KEDA 此類事件驅動 Pod 自動調整器無縫整合。在模型開發週期期間，訓練工作負載也會受益於自動資源最佳化。您可以使用 UpdateCluster API 在 HyperPod 上啟用自動調整規模，並將 AutoScaling 設為「啟用」和將 AutoScalerType 設定為「Karpenter」。

此功能適用於支援 Amazon SageMaker HyperPod EKS 叢集的所有 AWS 區域。若要進一步了解有關搭配 Karpenter 使用 SageMaker HyperPod 自動調整規模，請參閱使用者指南和部落格。