Amazon SageMaker HyperPod unterstützt jetzt Autoscaling mit Karpenter
Amazon SageMaker HyperPod unterstützt jetzt die automatische Skalierung von verwalteten Knoten mithilfe von Karpenter. Kunden können ihre Cluster automatisch skalieren, um dynamischen Inferenz- und Trainingsanforderungen gerecht zu werden. Echtzeit-Inferenz-Workloads erfordern eine automatische Skalierung, um unvorhersehbare Datenverkehrsmuster auszugleichen, Service Level Agreements einzuhalten und die Kosten zu optimieren. Unternehmen haben jedoch häufig mit dem Installationsaufwand, der Konfiguration und der Wartung komplexer Autoscaling-Lösungen zu kämpfen. Hyperpod-verwaltetes Knoten-Autoscaling übernimmt die Hauptlast der Einrichtung und Wartung von Karpenter und stellt integrierte Funktionen für Ausfallsicherheit und Fehlertoleranz bereit.
Die automatische Skalierung auf HyperPod mit Karpenter ermöglicht Kunden eine Just-in-Time-Bereitstellung, um die GPU-Rechenleistung schnell an Inferenzverkehrsspitzen anzupassen. Kunden können in Zeiten geringer Nachfrage auf null Knoten skalieren, ohne eine dedizierte Controller-Infrastruktur aufrechterhalten zu müssen. Sie profitieren von einer Workload-bewussten Knotenauswahl, die Instance-Typen und Kosten optimiert. Für Inferenz-Workloads bietet dies eine automatische Kapazitätsskalierung zur Bewältigung von Datenverkehrsspitzen in der Produktion, Kostenreduzierung durch intelligente Knotenkonsolidierung während Leerlaufzeiten und eine nahtlose Integration mit ereignisgesteuerten Pod-Autoscalern wie KEDA. Trainingsworkloads profitieren von der automatischen Ressourcenoptimierung während der Modellentwicklungszyklen. Sie können Autoscaling auf HyperPod mithilfe der UpdateCluster-API aktivieren, wobei der AutoScaling-Modus auf „Enable“ und AutoscalerType auf „Karpenter“ gesetzt ist.
Dieses Feature ist in allen AWS-Regionen verfügbar, in denen Amazon-SageMaker-HyperPod-EKS-Cluster unterstützt werden. Weitere Informationen zum Autoscaling auf SageMaker HyperPod mit Karpenter finden Sie im Benutzerhandbuch und im Blog.