Amazon Managed Workflows for Apache Airflow (MWAA)

Hochverfügbare, sichere und verwaltete Workflow-Orchestrierung für Apache Airflow

Amazon Managed Workflows for Apache Airflow (MWAA) ist ein verwalteter Orchestrierungsservice für Apache Airflow1, der das Einrichten und Betreiben von End-to-End-Datenpipelines in der Cloud im großen Maßstab erleichtert. Apache Airflow ist ein Open-Source-Tool zum programmatischen Erstellen, Planen und Überwachen von Abfolgen von Prozessen und Aufgaben, die als „Workflows“ bezeichnet werden. Mit Managed Workflows können Sie Airflow und Python verwenden, um Workflows zu erstellen, ohne die zugrunde liegende Infrastruktur für Skalierbarkeit, Verfügbarkeit und Sicherheit verwalten zu müssen. Managed Workflows skaliert seine Workflow-Ausführungskapazität automatisch, um Ihren Anforderungen gerecht zu werden, und ist mit AWS-Sicherheitsdiensten integriert, um Ihnen einen schnellen und sicheren Zugriff auf Daten zu ermöglichen.

Amazon Managed Workflows für Apache Airflow: Erste Schritte (6:48)

Vorteile

Schnelle Bereitstellung von Airflow im großen Maßstab

Starten Sie in wenigen Minuten über die AWS-Managementkonsole, CLI, AWS CloudFormation oder AWS SDK. Erstellen Sie ein Konto und beginnen Sie sofort mit der Bereitstellung von Directed Acyclic Graphs (DAGs) in Ihrer Airflow-Umgebung beginnen, ohne auf Entwicklungsressourcen oder eine Bereitstellungsinfrastruktur angewiesen zu sein.

Run Airflow mit integrierter Sicherheit

Mit Managed Workflows sind Ihre Daten standardmäßig sicher, da die Arbeitslasten in Ihrer eigenen isolierten und sicheren Cloud-Umgebung unter Verwendung der Virtual Private Cloud (VPC) von Amazon ausgeführt werden und die Daten automatisch mit AWS Key Management Service (KMS) verschlüsselt werden. Sie können die rollenbasierte Authentifizierung und Autorisierung für die Benutzeroberfläche von Apache Airflow über AWS Identity and Access Management (IAM) steuern und den Benutzern einen Single Sign-ON (SSO)-Zugang zum Planen und Anzeigen von Workflow-Ausführungen bieten.

Betriebskosten reduzieren

Managed Workflows ist ein gemanagter Service, der den Betrieb von Open Source Apache Airflow in großem Umfang erleichtert. Mit Managed Workflows können Sie die Betriebskosten und den technischen Aufwand reduzieren und gleichzeitig die On-Demand-Überwachungsanforderungen der End-to-End-Datenpipeline-Orchestrierung erfüllen.

Verwenden Sie ein bereits vorhandenes Plugin oder verwenden Sie Ihr eigenes

Verbinden Sie sich mit allen AWS- oder lokalen Ressourcen, die für Ihre Workflows erforderlich sind, darunter Athena, Batch, Cloudwatch, DynamoDB, DataSync, EMR, ECS/Fargate, EKS, Firehose, Glue, Lambda, Redshift, SQS, SNS, Sagemaker und S3.

Funktionsweise

Amazon Managed Workflows for Apache Airflow (MWAA) orchestriert und plant Ihre Workflows mithilfe von in Python geschriebenen gerichteten azyklischen Graphen (DAGs). Sie stellen Managed Workflows einen S3-Bucket zur Verfügung, in dem sich Ihre DAGs, Plugins und die Liste der Python-Abhängigkeiten befinden, und laden in diesen Bucket manuell oder mithilfe einer Code-Pipeline hoch, um den Extrahier-, Transformier-, Lade- (ETL) und Lernprozess zu beschreiben und zu automatisieren. Führen Sie dann Ihre DAGs über die CLI, das SDK oder die Airflow-Benutzeroberfläche aus. 

Wie es funktioniert - Amazon Managed Workflows for Apache Airflow

Anwendungsfälle

Complex Workflows aktivieren

Big-Data-Anbieter benötigen oft komplizierte Datenpipelines, die viele interne und externe Dienste miteinander verbinden. Um diese Daten nutzen zu können, müssen Kunden zunächst einen Workflow erstellen, der eine Reihe von aufeinander folgenden Aufgaben definiert, die die Daten aufbereiten und verarbeiten. Managed Workflows führen diese Workflows nach einem Zeitplan oder bei Bedarf aus. Managed Workflows überwachen komplexe Arbeitsabläufe über eine Web-Benutzeroberfläche oder zentral mit Cloudwatch.

Koordinieren von Extract, Transform, und Load (ETL) Jobs

Sie können Managed Workflows als Open-Source-Alternative verwenden, um mehrere ETL-Jobs zu orchestrieren, an denen eine Vielzahl von Technologien in einem beliebig komplexen ETL-Workflow beteiligt ist. So können Sie beispielsweise die Korrelationen zwischen dem Engagement der Online-Benutzer und den prognostizierten Umsatzerlösen und Verkaufschancen untersuchen. Sie können Managed Workflows verwenden, um mehrere AWS Glue-, Batch- und EMR-Aufträge zu koordinieren, um die Daten zu mischen und für die Analyse vorzubereiten.

Vorbereiten von Machine Learning (ML)-Daten

Um Machine Learning zu ermöglichen, müssen Quelldaten erfasst, verarbeitet und normalisiert werden, damit ML-Modellierungssysteme wie der vollständig verwaltete Service Amazon SageMaker auf diesen Daten trainieren können. Managed Workflows lösen dieses Problem, indem sie es einfacher machen, die Schritte zur Automatisierung Ihrer ML-Pipeline zusammenzufügen.

1Apache, Apache Airflow und Airflow sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den Vereinigten Staaten und/oder anderen Ländern.

Mehr über die Produktmerkmale erfahren
Mehr über die Produktmerkmale erfahren

Besuchen Sie die Amazon MWAA Features-Seite.

Weitere Informationen 
Für ein kostenloses Konto registrieren
Für ein kostenloses Konto registrieren

Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent. 

Registrieren 
Beginnen Sie mit der Entwicklung in der Konsole
Beginnen Sie mit der Entwicklung in der Konsole

Beginnen Sie mit dem Erstellen mit Amazon MWAA in der AWS-Managementkonsole.

Anmeldung