Einführung von Advanced Scaling in Amazon EMR Managed Scaling

Veröffentlicht am: 26. Nov. 2024

Wir freuen uns, Advanced Scaling vorstellen zu können, eine neue Funktion in Amazon EMR Managed Scaling, die Kunden mehr Flexibilität bei der Steuerung der Leistung und Ressourcenauslastung ihrer Amazon-EMR-auf-EC2-Clustern bietet. Mit Advanced Scaling können Kunden die gewünschte Ressourcenauslastung oder die gewünschten Leistungsstufen für ihren Cluster konfigurieren. Amazon EMR Managed Scaling skaliert den Cluster intelligent anhand der Kundenabsicht und optimiert die Rechenressourcen des Clusters.

Kunden schätzen die Einfachheit von Amazon EMR Managed Scaling. Es gibt jedoch Fälle, in denen der Standardalgorithmus von Amazon EMR Managed Scaling bei bestimmten Kunden-Workloads zu einer Unterauslastung des Clusters führen kann. Wenn beispielsweise Cluster mehrere Aufgaben von relativ kurzer Dauer ausführen (Aufgabenlaufzeit von 10 Sekunden oder weniger), skaliert Amazon EMR Managed Scaling den Cluster standardmäßig aggressiv hoch und konservativ herunter, um negative Auswirkungen auf die Joblaufzeiten zu vermeiden. Dies ist zwar der richtige Ansatz für SLA-sensitive Workloads, für kostensensitive Workloads ist er jedoch möglicherweise nicht optimal. Mit Advanced Scaling können Kunden jetzt das Verhalten von Amazon EMR Managed Scaling konfigurieren und an ihre jeweilige Workload anpassen. Maßgeschneiderte Optimierungen übernehmen zudem das intelligente Hinzufügen und Entfernen von Knoten zu bzw. von Clustern.

Um Advanced Scaling zu nutzen, können Sie die Parameter ScalingStrategy und UtilationPerformanceIndex entweder beim Erstellen einer neuen Managed Scaling-Richtlinie oder beim Aktualisieren einer vorhandenen Managed Scaling-Richtlinie festlegen. Advanced Scaling ist mit Amazon EMR Version 7.0 und höher in allen Regionen verfügbar, in denen Amazon EMR Managed Scaling verfügbar ist. Weitere Informationen finden Sie in der Dokumentation zu Advanced Scaling.