- Produits›
- Intégration d'applications›
- Amazon Managed Workflows for Apache Airflow (MWAA)
Amazon Managed Workflows for Apache Airflow (MWAA)
Simplifiez l'orchestration des flux de travail grâce à la gestion sécurisée et à grande échelle d'Apache Airflow
Pourquoi Amazon MWAA ?
Amazon Managed Workflows for Apache Airflow (MWAA) vous permet d'orchestrer des pipelines de données et des flux de travail à l'aide de la plateforme standard Apache Airflow. Choisissez entre des options de déploiement sans serveur ou provisionnées pour bénéficier d'une évolutivité, d'une disponibilité et d'une sécurité de niveau entreprise, sans gérer l'infrastructure.
Amazon MWAA est accessible dans la prochaine génération d'Amazon SageMaker
Avec Amazon MWAA intégré la nouvelle génération d'Amazon SageMaker, vous pouvez déployer et faire évoluer Apache Airflow de manière fluide, sans contraintes opérationnelles. Grâce à une mise à l'échelle automatique et à une tolérance aux pannes intégrée, le MWAA d'Amazon SageMaker garantit l'exécution fiable de vos flux de travail, vous permettant de vous concentrer sur l'innovation et non sur l'infrastructure. En savoir plus
Choisissez votre modèle de déploiement
Workflows sans serveur
Amazon MWAA Serverless élimine les complexités liées à la gestion de l'infrastructure en exécutant automatiquement vos flux de travail YAML ou Python à la demande ou selon un calendrier. Adaptez facilement à des centaines de flux de travail avec une haute disponibilité de niveau entreprise : aucune configuration Apache Airflow n'est requise. Grâce à une tarification basée sur l'utilisation et à des contrôles de sécurité intégrés, vous ne payez que pour le temps d'exécution réel.
Environnement géré traditionnel
Amazon MWAA vous permet de garder le contrôle total de vos flux de travail en déployant des environnements personnalisés avec des dépendances et des plugins préférés, tandis que nous nous occupons du provisionnement, de la sécurité et de la mise à l'échelle de l'infrastructure.
Avantages
Amazon MWAA propose des modèles de déploiement pour répondre à divers besoins en matière de flux de travail. MWAA Serverless s'adapte automatiquement à la demande, éliminant ainsi la planification manuelle des capacités tout en optimisant les coûts. L'option provisionnée fournit un contrôle granulaire des ressources Airflow, ce qui vous permet d'ajuster les performances en fonction de besoins spécifiques. Choisissez une mise à l'échelle automatique sans effort ou un contrôle précis des ressources : Amazon MWAA s'adapte à votre entreprise.
Amazon MWAA fournit une sécurité complète adaptée à vos besoins : Serverless fournit des contrôles granulaires au niveau du flux de travail tandis que Provisioned propose des limites au niveau de l'environnement pour des contextes commerciaux distincts. Les deux options offrent une sécurité de niveau professionnel, notamment une isolation VPC, un cryptage de bout en bout et des contrôles d'accès précis, garantissant la protection de vos flux de travail sans compromettre les performances.
Amazon MWAA optimise les flux de travail de la prochaine génération d'Amazon SageMaker grâce à l'accès à un déploiement Airflow personnel et open source, exécuté parallèlement aux blocs-notes Jupyter dans Amazon SageMaker Unified Studio. Vous pouvez facilement développer des graphes acycliques dirigés par flux d'air (DAG) qui peuvent orchestrer les artefacts de leur projet tels que des blocs-notes, des requêtes et des tâches de formation.
Cas d'utilisation
Orchestrez des transformations de données complexes sur plusieurs services AWS et sources de données externes. Automatisez les flux de travail d'ingestion, de catalogage et de traitement des données pour votre architecture de lac de données tout en coordonnant les pipelines de données en streaming avec le traitement par lots.
Orchestrez des flux de travail ML de bout en bout, de la préparation des données à la formation, à la validation et au déploiement des modèles. Automatisez l'extraction des fonctionnalités, les flux de travail de transformation et coordonnez le déploiement des modèles grâce à des tests A/B dans les environnements de développement et de production.
Planifiez et orchestrez automatiquement la génération de rapports, l'actualisation des données et les mises à jour des tableaux de bord. Mettez en œuvre des flux de travail automatisés de validation, de nettoyage et d'assurance qualité des données tout en synchronisant les données entre les applications métier et les plateformes d'analyse.
Automatisez les flux de sauvegarde, l'archivage des données et les procédures de reprise après sinistre dans l'ensemble de votre infrastructure. Orchestrez les flux de travail de gouvernance des données, les rapports de conformité et la génération de pistes d'audit tout en coordonnant les flux de travail entre AWS et d'autres fournisseurs de cloud ou des systèmes sur site.