Amazon Managed Workflows for Apache Airflow(MWAA)
使用托管 Apache Airflow 安全且大规模地简化工作流程编排
为什么选择 Amazon MWAA?
适用于 Apache Airflow 的 Amazon Managed Workflow (MWAA) 使您能够使用行业标准的 Apache Airflow 平台协调数据管道和工作流程。在无服务器部署选项或预置部署选项之间进行选择,无需管理基础架构即可享受企业级的可扩展性、可用性和安全性。
亚马逊 MWAA 可在下一代亚马逊 SageMaker 中使用
借助下一代亚马逊 SageMaker 中的亚马逊 MWAA,您可以无缝部署和扩展 Apache Airflow,而不会产生运营负担。借助自动扩展和内置容错功能,Amazon SageMaker 中的 MWAA 可确保您的工作流程可靠执行,使您可以专注于创新,而不是基础设施。了解更多。
选择您的部署模式
无服务器工作流程
Amazon MWAA Serverless 通过按需或按计划自动执行基于 YAML 或 Python 的工作流程,消除了基础设施管理的复杂性。借助企业级高可用性,轻松扩展到数百个工作流程,无需 Apache Airflow 配置。使用基于使用量的定价和内置的安全控制措施,您只需为实际执行时间付费。
传统的托管环境
Amazon MWAA 使您能够通过部署具有首选依赖项和插件的自定义环境来保持对工作流程的完全控制,同时我们负责基础设施的配置、安全和扩展。
优势
亚马逊 MWAA 提供部署模型以满足不同的工作流程需求。MWAA Serverless 可自动根据需求进行调整,在优化成本的同时消除了手动容量规划。预置的选项提供对 Airflow 资源的精细控制,允许您根据特定要求微调性能。选择轻松的自动扩展或精确的资源控制 — Amazon MWAA 可根据您的业务进行扩展。
Amazon MWAA 提供根据您的需求量身定制的全面安全性——Serverless 提供精细的工作流程级控制,而 Provisioned 则为不同的业务环境提供环境级别的边界。这两个选项都具有企业级安全性,包括 VPC 隔离、端到端加密和精细的访问控制,可确保您的工作流程在不影响性能的情况下受到保护。
亚马逊 MWAA 为下一代亚马逊 SageMaker 的工作流程提供支持,可以访问个人开源 Airflow 部署,与亚马逊 SageMaker Unified Studio 中的 Jupyter 笔记本电脑一起运行。您可以轻松开发气流定向无环图 (DAG),以协调他们的项目工件,例如笔记本、查询和训练作业。
使用案例
协调多个 AWS 服务和外部数据源之间的复杂数据转换。自动执行数据湖架构的数据提取、编目和处理工作流程,同时通过批处理协调流数据管道。
协调从数据准备到模型训练、验证和部署的端到端机器学习工作流程。通过跨开发和生产环境的 A/B 测试,自动化特征提取、转换工作流程并协调模型部署。
自动安排和协调报告生成、数据刷新和仪表板更新。实施自动数据验证、清理和质量保证工作流程,同时在业务应用程序和分析平台之间同步数据。
在整个基础架构中自动执行备份工作流程、数据存档和灾难恢复程序。协调数据治理工作流程、合规性报告和审计跟踪生成,同时协调 AWS 和其他云提供商或本地系统的工作流程。