Veröffentlicht am: Mar 29, 2021
AWS Step Functions ist jetzt mit Amazon EMR auf Amazon Elastic Kubernetes Service (Amazon EKS) integriert, was die Integration von Apache Spark-basierten Aufträgen in Ihre Analysepipeline erleichtert. Sie können jetzt Workflows erstellen, die Schritte zur Verwaltung von EMR auf virtuellen EKS-Clustern enthalten und Jobs übermitteln, ohne Code zur Verwaltung des Jobstatus zu schreiben.
Mit Step Functions können Sie belastbare serverlose Workflows mit Amazon-Services wie Amazon Athena, Amazon EMR, Amazon EKS und jetzt auch mit Amazon EMR auf Amazon EKS erstellen. EMR auf EKS bietet eine Möglichkeit der Bereitstellung für Amazon EMR, mit der Sie Apache Spark auf Amazon Elastic Kubernetes Service (Amazon EKS) ausführen können. Sie können Amazon EMR-basierte Anwendungen mit anderen Arten der Anwendung auf demselben Amazon EKS-Cluster ausführen, um die Auslastung der Ressourcen zu verbessern und die Verwaltung der Infrastruktur über mehrere AWS Availability Zones hinweg zu vereinfachen.
Die drei API-Aktionen, die von der Integration von Step Functions mit Amazon EMR auf EKS unterstützt werden, sind:
1. createVirtualCluster: erstellt und registriert einen AWS EMR auf EKS Virtual Cluster aus einem bestehenden AWS EKS-Namensraum und wartet dann auf dessen Fertigstellung.
2. deleteVirtualCluster (.sync): löscht einen AWS EMR auf EKS Virtual Cluster und wartet dann, bis er gelöscht wird.
3. startJobRun (.sync): Übergibt einen Auftrag an AWS EMR auf EKS und wartet, bis der Auftrag abgeschlossen ist.
Die ersten Schritte finden Sie in der AWS Step Functions Dokumentation und in unserem Blogbeitrag.
Die Step Functions Integration mit EMR auf EKS ist generell in den folgenden Regionen verfügbar: US East (Ohio und N. Virginia), EU West (Irland) und Kanada (Central). Es wird in den kommenden Tagen in allen anderen kommerziellen Regionen, in denen Step Functions und EMR on EKS verfügbar sind, allgemein verfügbar sein. Eine vollständige Liste der Regionen und Serviceangebote finden Sie unter AWS-Regionen.
Weitere Informationen zu Step Functions finden Sie auf der AWS Step Functions Seite. Weitere Informationen zu Amazon EMR auf EKS finden Sie auf der AWS EMR auf EKS-Seite.