Amazon EMR Managed Scaling erkennt jetzt die Application Master-Platzierung
Wir freuen uns, heute eine neue Verbesserung in EMR Managed Scaling ankündigen zu können, die die Ausfallsicherheit von Anwendungen verbessert und den Cluster basierend auf der Nachfrage von Executors und ApplicationMasters skaliert, indem sie Unterstützung für Yarn-Knotenlabels hinzufügt. Amazon EMR stellt standardmäßig sicher, dass die Prozesse, die laufende Jobs kontrollieren und für die Dauer des Jobs funktionsfähig bleiben müssen (ApplicationMasters), sowohl auf Core- als auch auf Aufgabenknoten ausgeführt werden können. Viele Kunden, speziell jene, die Spot Instances für die Ausführung von Aufgabenknoten verwenden, entscheiden sich jedoch dafür, ApplicationMasters nur auf On-Demand-Core-Knoten auszuführen, um sicherzustellen, dass laufende Jobs nicht fehlschlagen, wenn auf Spot-Instances ausgeführte ApplicationMasters unterbrochen werden. Mit dem heutigen Launch skaliert EMR Managed Scaling die Cluster nun auf der Grundlage der Nachfrage nach einzelnen AM- oder Executor-Anfragen, wie sie durch die YARN-Knotenlabels definiert sind. Die intelligente Skalierung des Clusters auf der Grundlage der Nachfrage von AMs oder Executors führt zu besserer Leistung, Auslastung und geringeren Kosten.
Im Rahmen der heutigen Einführung von EMR 7.2 und höher können Sie mit Amazon EMR auch YARN-Knotenlabels auf Anwendungsebene festlegen, die nach Markttyp (z. B. On-Demand oder Spot) gegliedert sind. Bisher konnten Kunden YARN-Knotenlabelausdrücke nur nach Knotentypebene angeben, d. h. Core vs. Aufgabe. Mit dieser neuen Erweiterung erhalten Kunden zusätzliche Flexibilität, um die Anforderungen Ihrer Cluster-Workloads besser zu erfüllen.
Dieses Feature ist mit Amazon EMR Version 7.2 und höher in allen AWS-Regionen verfügbar, in denen Amazon EMR Managed Scaling verfügbar ist. Weitere Informationen finden Sie in unserer Managed-Scaling-Dokumentation.