Veröffentlicht am: Nov 6, 2023
Sie können jetzt Apache Airflow-Umgebungen der Version 2.7 erstellen und aufschiebbare Operatoren auf Amazon Managed Workflows for Apache Airflow (MWAA) ausführen. Apache Airflow 2.7 ist die aktuelle Nebenversion des beliebten Open-Source-Tools, das Kunden bei der Erstellung, Planung und Überwachung von Workflows unterstützt.
Amazon MWAA ist ein verwalteter Orchestrierungsservice für Apache Airflow, der das Einrichten und Betreiben von End-to-End-Data-Pipelines in der Cloud vereinfacht. Apache Airflow Version 2.7 auf Amazon MWAA führt die Unterstützung für aufschiebbare Operatoren ein, sodass eine höhere Anzahl von Aufgaben gleichzeitig mit weniger Ressourcen ausgeführt werden kann. Aufschiebbare Operatoren geben Worker-Slots frei, während sie auf die Erledigung ihrer Aufgaben warten. Sie werden von beliebten AWS-Services wie Amazon EMR, Amazon ECS und AWS Glue unterstützt. Dieses Update bringt auch Verbesserungen wie die Cluster-Aktivitätsseite, automatische Setup-/Teardown-Aufgaben und den Secrets-Cache. Darüber hinaus läuft Airflow 2.7 auf Amazon MWAA jetzt auf Python 3.11 und basiert auf dem Amazon Linux 2023 (AL2023)-Basisimage. Es bietet verbesserte Sicherheit, moderne Tools und Unterstützung für die neuesten Python-Bibliotheken und -Funktionen.
Sie können eine neue Umgebung von Apache Airflow 2.7 in Amazon MWAA mit nur wenigen Klicks in der AWS-Managementkonsole in allen derzeit unterstützten Amazon-MWAA-Regionen starten. Weitere Informationen zu Apache Airflow 2.7 finden Sie in der Amazon-MWAA-Dokumentation, im Blogbeitrag zu Neuerungen und im Änderungsprotokoll zu Apache Airflow 2.7 in der Apache-Airflow-Dokumentation.
Apache, Apache Airflow und Airflow sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den Vereinigten Staaten und/oder anderen Ländern.