Amazon SageMaker HyperPod unterstützt jetzt flexible Instance-Gruppen
Amazon SageMaker HyperPod unterstützt jetzt flexible Instance-Gruppen, sodass Kunden mehrere Instance-Typen und mehrere Subnetze innerhalb einer einzigen Instance-Gruppe angeben können. Kunden, die Schulungs- und Inferenz-Workloads auf HyperPod ausführen, müssen häufig mehrere Instance-Typen und Verfügbarkeitszonen abdecken, um Kapazitätsstabilität, Kostenoptimierung und Subnetznutzung zu gewährleisten. Zuvor mussten sie jedoch für jede Kombination aus Instance-Typ und Availability Zone eine separate Instance-Gruppe erstellen und verwalten, was zu einem betrieblichen Overhead bei der Cluster-Konfiguration, Skalierung, Patching und Überwachung führte.
Mit flexiblen Instance-Gruppen können Sie mithilfe des neuen instanceRequirements-Parameters eine geordnete Liste von Instance-Typen definieren und mehrere Subnetze in Availability Zones in einer einzigen Instance-Gruppe bereitstellen. HyperPod stellt Instances bereit, die zuerst den Typ mit der höchsten Priorität verwenden, und fällt automatisch auf Typen mit niedrigerer Priorität zurück, wenn die Kapazität nicht verfügbar ist, sodass Kunden es nicht manuell für einzelne Instance-Gruppen versuchen müssen. Schulungskunden profitieren von der Verteilung über mehrere Subnetze innerhalb einer Verfügbarkeitszone, um eine Erschöpfung des Subnetzes zu vermeiden. Inferenz-Kunden, die manuell skalieren, erhalten automatisch prioritätsbasiertes Fallback für alle Instance-Typen, ohne dass sie jede Instance-Gruppe einzeln erneut versuchen müssen, während Kunden, die Karpenter-Autoscaling verwenden, auf eine einzige flexible Instance-Gruppe verweisen können. Karpenter erkennt automatisch unterstützte Instance-Typen aus der flexiblen Instance-Gruppe und stellt den optimalen Typ und die optimale Verfügbarkeitszone auf der Grundlage der Pod-Anforderungen bereit. Sie können flexible Instance-Gruppen mithilfe der CreateCluster- und UpdateCluster-APIs, der AWS-CLI oder der AWS-Managementkonsole erstellen.
Flexible Instance-Gruppen sind für SageMaker HyperPod-Cluster mit dem EKS-Orchestrator in allen AWS-Regionen verfügbar, in denen SageMaker HyperPod unterstützt wird. Weitere Informationen finden Sie unter Flexible Instance-Gruppen.