Amazon MWAA поддерживает Apache Airflow версии 3.3.1
Управляемые рабочие процессы Amazon для Apache Airflow (MWAA) теперь поддерживают Apache Airflow 3.3.1, последнюю версию популярной платформы оркестрации рабочих процессов с открытым исходным кодом. Amazon MWAA – это управляемый сервис оркестрации для Apache Airflow, который упрощает настройку и эксплуатацию сквозных конвейеров данных в облаке.
В Apache Airflow 3.3 представлены задачи с отслеживанием состояния и поддержка нескольких языков. Благодаря новому хранилищу состояний задач и ресурсов теперь задачи могут сохранять устойчивое состояние при повторных попытках и запусках, что позволяет отслеживать позиции обработки и безопасно восстанавливать подключение к длительно выполняющимся заданиям. Пакет SDK Language Task (экспериментальный) позволяет командам писать логику задач на Java или Go, сохраняя при этом оркестрацию на Python. Дополнительные улучшения включают расширенное разделение ресурсов, подключаемые политики повторных попыток и массовые действия для запусков DAG и инстансов задач. Apache Airflow 3.3.1 также обеспечивает стабильность, безопасность и улучшения пользовательского интерфейса в дополнение к этим возможностям.
Можно запустить новую среду Apache Airflow 3.3.1 в Amazon MWAA либо выполнить обновление с версии 3.2 или более поздней несколькими щелчками мыши в Консоли управления AWS во всех поддерживаемых в настоящее время регионах Amazon MWAA. Подробности об Apache Airflow 3.3.1 см. в документации по Amazon MWAA и журнале изменений Apache Airflow 3.3.1 в документации по Apache Airflow.
Apache, Apache Airflow и Airflow являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и (или) других странах.