Publié le: Nov 6, 2023
Vous pouvez désormais créer des environnements Apache Airflow version 2.7 et exécuter des opérateurs différables sur Amazon Managed Workflows for Apache Airflow (MWAA). Apache Airflow 2.7 est la dernière version mineure du célèbre outil open source qui aide les clients à créer, planifier et surveiller des flux de travail.
Amazon MWAA est un service d'orchestration géré pour Apache Airflow qui facilite la configuration et la gestion des pipelines de données de bout en bout dans le cloud. La version 2.7 d'Apache Airflow sur Amazon MWAA introduit la prise en charge des pour opérateurs différable, ce qui permet d'exécuter simultanément un plus grand nombre de tâches avec moins de ressources. Les opérateurs pouvant être différés libèrent des postes de travail en attendant que leurs tâches soient terminées et bénéficient du soutien des services AWS les plus populaires tels qu'Amazon EMR, Amazon ECS et AWS Glue. Cette mise à jour apporte également des améliorations telles que la page d'activité du cluster, les tâches de configuration/démontage automatiques et le cache des secrets. De plus, Airflow 2.7 sur Amazon MWAA fonctionne désormais sur Python 3.11 et repose sur l'image de base Amazon Linux 2023 (AL2023), offrant une sécurité renforcée, des outils modernes et la prise en charge des dernières bibliothèques et fonctionnalités Python.
Vous pouvez lancer un nouvel environnement Apache Airflow 2.7 sur Amazon MWAA en seulement quelques clics dans la Console de gestion AWS dans les Régions Amazon MWAA actuellement prises en charge. Pour en savoir plus sur Apache Airflow 2.7, consultez la documentation Amazon MWAA, le billet de blog sur les nouveautés et le journal des modifications Apache Airflow 2.7 dans la documentation Apache Airflow.
Apache, Apache Airflow et Airflow sont des marques déposées ou des marques commerciales d'Apache Software Foundation aux États-Unis et/ou dans d'autres pays.