Veröffentlicht am: Nov 26, 2019
Amazon EMR unterstützt jetzt das gleichzeitige Ausführen mehrerer EMR-Schritte, das Abbrechen von ausgeführten Schritten und AWS Step Functions. Durch die parallele Ausführung von Schritten können Sie fortgeschrittene Workloads ausführen, die Auslastung der Clusterressourcen erhöhen und den Zeitaufwand für die Fertigstellung Ihres Workloads verringern. Die Anzahl der Schritte, die gleichzeitig ausgeführt werden dürfen, ist konfigurierbar und kann beim Start eines Clusters und jederzeit nach dem Start des Clusters festgelegt werden. Mit der Möglichkeit, laufende Schritte abzubrechen, haben Sie jetzt mehr Kontrolle über die Ausführung von Schritten, einschließlich der Möglichkeit, Schritte zwangsweise abzubrechen. Das parallele Ausführen von Schritten wird auch mit AWS Step Functions unterstützt, mit denen Sie Cluster erstellen und skalieren sowie die Schrittausführung mithilfe von Schrittfunktions-Workflows orchestrieren können.
Mit Schritten können Sie Workloads an EMR-Anwendungen wie Apache Spark, Apache Hive, Apache YARN und Presto senden, ohne eine direkte Verbindung zu einem EMR-Cluster herstellen zu müssen. Schritte können mithilfe der EMR-Konsole und der API zu einem Cluster hinzugefügt werden. Bisher wurden die Schritte nacheinander ausgeführt, wobei jeder Schritt ausgeführt werden musste, bevor der nächste Schritt ausgeführt werden konnte, und die ausgeführten Schritte konnten nicht abgebrochen werden.
Durch die Möglichkeit, Schritte parallel auszuführen, ist es jetzt möglich, fortgeschrittene Workflows mit bedingter Logik und Verzweigung zu erstellen. Um die Erstellung und Verwaltung dieser Workflows zu vereinfachen, freuen wir uns, eine neue Integration mit AWS Step Functions bekannt zu geben. Step Functions unterstützt jetzt EMR-Schritte, mit denen Sie die Clustererstellung orchestrieren, die Clusterressourcen programmgesteuert skalieren und die Schrittausführung, Abhängigkeiten und die Ausnahmebehandlung mit EMR verwalten können.
Das parallele Ausführen von Schritten und das Abbrechen von Schritten wird mit EMR Release 5.28.0 unterstützt und ist in Asien-Pazifik (Hongkong, Mumbai, Tokio), der EU (Frankfurt, Irland, Stockholm), dem Nahen Osten (Bahrain), Südamerika (São Paulo), USA Ost (Nord-Virginia) und USA West (Nordkalifornien und Oregon) verfügbar, wobei weitere Regionen in den nächsten Wochen folgen.
Lesen Sie zunächst die Dokumentation zu den EMR-Schritten und stellen Sie Ihren ersten Workflow für Step Functions mit einem Ein-Klick-Beispielprojekt bereit.
Hier erfahren Sie mehr:
- Lesen Sie den Blogeintrag zu AWS-Neuigkeiten
- Stellen Sie ein Ein-Klick-Beispielprojekt für die Integration von AWS Step Functions in Amazon EMR bereit
- Informationen zum Verwalten von Amazon EMR-Jobs mit Step Functions finden Sie im AWS Step Functions-Entwicklerhandbuch.
- Weitere Informationen zum Arbeiten mit Schritten mit der CLI und der Konsole