- Produtos›
- Integração de aplicações›
- Amazon Managed Workflows for Apache Airflow (MWAA)
Amazon Managed Workflows for Apache Airflow (MWAA)
Simplifique a orquestração do fluxo de trabalho com o Apache Airflow gerenciado de forma segura e em grande escala
O que é o Amazon MWAA?
O Amazon Managed Workflows for Apache Airflow (MWAA) permite que você orquestre pipelines de dados e fluxos de trabalho usando a plataforma Apache Airflow, padrão do setor. Escolha entre as opções de implantação sem servidor ou provisionada para aproveitar a escalabilidade, a disponibilidade e a segurança de nível corporativo, sem gerenciar a infraestrutura.
O Amazon MWAA está acessível na próxima geração do Amazon SageMaker
Com o Amazon MWAA na próxima geração do Amazon SageMaker, você pode implantar e escalar o Apache Airflow sem problemas operacionais. Com escalabilidade automatizada e tolerância a falhas incorporada, o MWAA no Amazon SageMaker garante que seus fluxos de trabalho sejam executados de forma confiável, permitindo que você se concentre na inovação, não na infraestrutura. Saiba mais.
Escolha seu modelo de implantação
Fluxos de trabalho sem servidor
O Amazon MWAA Serverless elimina as complexidades do gerenciamento de infraestrutura executando automaticamente seus fluxos de trabalho baseados em YAML ou Python sob demanda ou dentro do cronograma. Expanda facilmente para centenas de fluxos de trabalho com alta disponibilidade de nível corporativo, sem a necessidade de configuração do Apache Airflow. Com preços baseados no uso e controles de segurança integrados, você paga apenas pelo tempo real de execução.
Ambiente gerenciado tradicional
O Amazon MWAA permite que você mantenha o controle total de seus fluxos de trabalho implantando ambientes personalizados com dependências e plug-ins preferenciais, enquanto lidamos com o provisionamento, a segurança e a escalabilidade da infraestrutura.
Benefícios
O Amazon MWAA oferece modelos de implantação para atender às diversas necessidades de fluxo de trabalho. O MWAA Serverless se ajusta automaticamente à demanda, eliminando o planejamento manual da capacidade e otimizando os custos. A opção provisionada fornece controle granular sobre os recursos do Airflow, permitindo que você ajuste o desempenho para requisitos específicos. Escolha escalabilidade automática sem esforço ou controle preciso de recursos — o Amazon MWAA se adapta à sua empresa.
O Amazon MWAA oferece segurança abrangente adaptada às suas necessidades — o Serverless fornece controles granulares em nível de fluxo de trabalho, enquanto o Provisioned oferece limites em nível de ambiente para contextos comerciais distintos. Ambas as opções oferecem segurança de nível corporativo, incluindo isolamento de VPC, criptografia de ponta a ponta e controles de acesso refinados, garantindo que seus fluxos de trabalho permaneçam protegidos sem comprometer o desempenho.
O Amazon MWAA potencializa fluxos de trabalho para a próxima geração do Amazon SageMaker com acesso a uma implantação pessoal e de código aberto do Airflow, executada junto com os notebooks Jupyter no Amazon SageMaker Unified Studio. Você pode desenvolver facilmente gráficos acíclicos direcionados (DAGs) do Airflow que podem orquestrar seus artefatos de projeto, como cadernos, consultas e trabalhos de treinamento.
Casos de uso
Organize transformações de dados complexas em vários serviços da AWS e fontes de dados externas. Automatize os fluxos de trabalho de ingestão, catalogação e processamento de dados para sua arquitetura de data lake enquanto coordena os pipelines de dados de streaming com o processamento em lote.
Organize fluxos de trabalho de ML de ponta a ponta, desde a preparação de dados até o treinamento, validação e implantação do modelo. Automatize a extração de recursos, os fluxos de trabalho de transformação e coordene a implantação do modelo com testes A/B em ambientes de desenvolvimento e produção.
Agende e orquestre automaticamente a geração de relatórios, as atualizações de dados e as atualizações do painel. Implemente fluxos de trabalho automatizados de validação, limpeza e garantia de qualidade de dados enquanto sincroniza dados entre aplicativos de negócios e plataformas de análise.
Automatize fluxos de trabalho de backup, arquivamento de dados e procedimentos de recuperação de desastres em toda a sua infraestrutura. Organize fluxos de trabalho de governança de dados, relatórios de conformidade e geração de trilhas de auditoria enquanto coordena fluxos de trabalho na AWS e em outros provedores de nuvem ou sistemas locais.