SageMaker HyperPod unterstützt jetzt den gemeinsamen Zugriff auf ungenutzte Ressourcen für die Verwendung in dynamischen Clustern
Die Aufgaben-Governance von Amazon SageMaker HyperPod unterstützt jetzt den dynamischen gemeinsamen Ressourcenzugriff, sodass Teams nicht zugewiesene Rechenkapazität in HyperPod-Clustern über ihre garantierten Kontingente hinaus ausleihen können. Administratoren können auch Leihlimits für bestimmte Ressourcentypen wie Beschleuniger, vCPUs oder Arbeitsspeicher konfigurieren, um eine faire Verteilung auf die Teams zu gewährleisten.
Administratoren, die gemeinsam genutzte Rechencluster für generative KI-Workloads ausführen, sehen sich häufig mit mangelnder Ressourcenauslastung konfrontiert. Wenn Datenwissenschaftler ihre zugewiesenen Kontingente nicht vollständig ausschöpfen, bleiben teure Recheninstanzen ungenutzt. Der gemeinsame Zugriff auf ungenutzte Ressourcen (Idle Resource Sharing) löst dieses Problem, indem nicht zugewiesene Cluster-Kapazität automatisch erkannt und Teams nach bestem Bemühen zur Verfügung gestellt wird, die sie ausleihen können. Die HyperPod-Aufgaben-Governance überwacht Ihren Cluster-Status und berechnet automatisch die ausleihbaren Ressourcen neu, wenn sich Instances und Richtlinien für Rechenkontingente ändern, sodass eine manuelle Konfiguration entfällt. In Frage kommende Instances, die bereit und planbar sind, einschließlich Instances mit partitionierten GPU-Konfigurationen, werden in den ausleihbaren Pool an nicht zugewiesener Rechenkapazität aufgenommen. Administratoren können zusätzlich zu den prozentualen Ausleihlimits für ungenutzte Rechenleistung auch absolute Ausleihobergrenzen definieren. So können Administratoren die Rechenauslastung maximieren und sie behalten die genaue Kontrolle darüber, wie ungenutzte Kapazitäten auf die Teams verteilt werden, während gleichzeitig eine garantierte Isolierung der Rechenquoten für jedes Team gewährleistet ist.
Diese Funktion ist derzeit für Amazon-SageMaker-HyperPod-Cluster verfügbar, die den EKS-Orchestrator in den folgenden AWS-Regionen verwenden: USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Asien-Pazifik (Mumbai), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney) und Asien-Pazifik (Tokio), Asien-Pazifik (Jakarta), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Stockholm), Europa (Spanien) und Südamerika (São Paulo).
Weitere Informationen finden Sie auf der SageMaker HyperPod-Webseite und in der Dokumentation zur HyperPod-Aufgaben-Governance.