Publicado: Nov 6, 2023
Agora, você pode criar ambientes do Apache Airflow versão 2.7 e executar operadores adiáveis no Amazon Managed Workflows for Apache Airflow (MWAA). O Apache Airflow 2.7 é a versão secundária mais recente da popular ferramenta de código aberto que ajuda os clientes a criar, programar e monitorar fluxos de trabalho.
O Amazon MWAA é um serviço de orquestração gerenciado para Apache Airflow que facilita a operação e configuração pipelines de dados completos na nuvem. O Apache Airflow versão 2.7 no Amazon MWAA introduz o suporte a operadores adiáveis, permitindo que mais tarefas sejam executadas simultaneamente com menos recursos. Os operadores adiáveis liberam vagas de processamento enquanto aguardam a conclusão das tarefas e contam com o suporte de serviços populares da AWS, como Amazon EMR, Amazon ECS e AWS Glue. Essa atualização também traz melhorias, como a página de atividades do cluster, tarefas automáticas de configuração/desmontagem e cache de segredos. Além disso, o Airflow 2.7 no Amazon MWAA agora é executado no Python 3.11 e é criado usando a imagem base do Amazon Linux 2023 (AL2023), oferecendo segurança aprimorada, ferramentas modernas e suporte para as bibliotecas e recursos mais recentes do Python.
É possível lançar um novo ambiente do Apache Airflow 2.7 no Amazon MWAA com apenas alguns cliques no Console de Gerenciamento da AWS em todas as regiões do Amazon MWAA que oferecem o serviço. Para saber mais sobre o Apache Airflow 2.7, consulte a documentação do Amazon MWAA, a publicação do blog que destaca as novidades e o log de alterações do Apache Airflow 2.7 na documentação do Apache Airflow.
Apache, Apache Airflow e Airflow são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países.