Amazon SageMaker HyperPod unterstützt jetzt Spot Instances
Amazon SageMaker HyperPod unterstützt jetzt Spot Instances, sodass Kunden die GPU-Rechenkosten im Vergleich zu On-Demand-Instances auf HyperPod um bis zu 90 % senken können. Angesichts wachsender KI-Workloads wird die Optimierung der Infrastrukturkosten immer wichtiger. Die Spot-Integration von SageMaker HyperPod löst dieses Problem, indem sie es Kunden ermöglicht, freie EC2-Kapazitäten automatisch zu erheblichen Rabatten zu nutzen und gleichzeitig dasselbe verwaltete KI-Erlebnis wie mit HyperPod erhalten.
Mit Spot Instances können Unternehmen fehlertolerante Workloads kostengünstig und in großem Maßstab ausführen. Sie können Spot- mit On-Demand-Instances kombinieren, um ein Kostenoptimierung und garantierte Verfügbarkeit auszubalancieren. Das Feature ist auf HyperPod-EKS-Clustern verfügbar und lässt sich in Karpenter integrieren, um eine intelligente automatische Skalierung zu ermöglichen, die verfügbare Spot-Kapazität automatisch zu erkennen und Instance-Unterbrechungen zu verarbeiten.
Sie können Spot Instances aktivieren, wenn Sie Instance-Gruppen über die CreateCluster-API oder die AWS-Konsole erstellen. Das Feature unterstützt alle auf HyperPod verfügbaren Instance-Typen, inklusive CPUs und GPUs. Die Kapazitätsverfügbarkeit hängt vom Angebot in EC2 ab und variiert je nach Region und Instance-Typ. Die Spot-Instance-Unterstützung ist in allen Regionen verfügbar, in denen SageMaker HyperPod derzeit verfügbar ist. Weitere Informationen finden Sie in der Dokumentation.