F: Was ist Amazon MWAA?

Amazon Managed Workflows for Apache Airflows (MWAA), ist ein verwalteter Apache Airflow-Service, der dazu dient, Geschäftseinblicke in einem Unternehmen zu gewinnen, indem Daten durch eine Reihe von Aufgaben, die als Workflow bezeichnet werden, kombiniert, angereichert und umgewandelt werden. Managed Workflows befreien Sie von der Verwaltung, Konfiguration und Skalierung der Airflow-Umgebung, während Sie Datenverarbeitungs-Workflows orchestrieren und deren Ausführung durch AWS-gestützte Protokollierungs- und Überwachungsfunktionen verwalten. Sie können Ihre bestehenden Airflow-Workflows auf Amazon MWAA ausführen und mit deren Umgebung programmatisch über die AWS-Konsole, API und Befehlszeilenschnittstelle (CLI) interagieren.

F: Wann sollte ich Managed Workflows verwenden?

Sie sollten Amazon MWAA nutzen, um mehr Zeit für Technik/Datenwissenschaft bei der Erstellung von Workflows und weniger Zeit für die Verwaltung der Infrastruktur und der Airflow-Umgebung aufwenden zu können, während Sie gleichzeitig eine konsistente Leistung aus dem verwalteten Service erzielen. Data-Engineering- und Data-Science-Teams nutzen Airflow als führende Open-Source-Orchestrierungsumgebung für die Erstellung und Ausführung von Workflows, die ETL-Jobs (Extract-Transform-Load) und Datenpipelines für Machine Learning definieren. Sie werden die Fähigkeit von Airflow zu schätzen wissen, Workflows programmatisch zu erstellen, zu planen und zu überwachen, die in Python, der bevorzugten Sprache der Datenverarbeitung, verfasst sind. Das Airflow-Task-Plugin-Modell und die offene Architektur, die es Ihnen ermöglicht, benutzerdefinierte Workflows zu erstellen, einschließlich der Unterstützung für On-Premise-Datenquellen. Ein Team, das die Vorteile der programmatischen Benutzeroberfläche von Airflow nutzen möchte, muss jedoch zunächst die Server und die Überwachung konfigurieren und warten, damit sie funktionieren. Viele Kunden setzen Datentechniker ein, um die Worker-Flotte zu verwalten, Abhängigkeiten zu installieren, das System hoch- und runterzuskalieren und den Scheduler neu zu starten. Mit Managed Workflows entfallen diese Handgriffe, denn Sie erhalten eine verwaltete Airflow-Umgebung, die hochverfügbar, überwacht und automatisch skalierbar ist.

F: Was verwaltet Amazon MWAA für mich?

Amazon MWAA verwaltet die Arbeit, die mit der Einrichtung von Airflow verbunden ist, von der Bereitstellung der Infrastrukturkapazität (Serverinstanzen und Speicher) über die Installation der Software bis hin zur Bereitstellung einer vereinfachten Benutzerverwaltung und -autorisierung durch AWS Identity and Access Management (IAM) und Single Sign-On (SSO). Sobald Ihr Airflow in Betrieb ist, skaliert Amazon MWAA Ihre Mitarbeiter, um das Volumen der ausgeführten Workflows zu bewältigen, und automatisiert gängige Verwaltungsaufgaben wie das Patchen des Betriebssystems und das Aktualisieren der Airflow-Software.

F: Wie ist dieser Service mit anderen AWS-Services verbunden bzw. wie funktioniert er mit diesen?

Amazon MWAA ist eine Workflow-Umgebung, die es Dateningenieuren und Datenwissenschaftlern ermöglicht, Workflows mit anderen AWS-, On-Premise- und anderen Cloud-Services zu erstellen. Amazon MWAA-Workflows rufen mithilfe von Athena-Abfragen Eingaben aus Quellen wie S3 ab, führen Transformationen auf EMR-Clustern durch und können die resultierenden Daten zum Trainieren von Modellen für Machine Learning (ML) auf SageMaker verwenden. Workflows in Amazon MWAA werden als gerichtete azyklische Graphen (DAGs) mit Python erstellt. Ein wesentlicher Vorteil von Airflow ist die offene Erweiterbarkeit durch Plugins, die es Ihnen ermöglicht, Aufgaben-Plugins für alle AWS- oder lokalen Ressourcen zu erstellen, die Sie für Ihre Workflows benötigen, darunter Athena, Batch, Cloudwatch, DynamoDB, DataSync, EMR, ECS/Fargate, EKS, Firehose, Glue, Lambda, Redshift, SQS, SNS, Sagemaker und S3.

F: Wie werden neue Airflow-Versionen, Patches und Upgrades gehandhabt?

Amazon MWAA bietet standardmäßig automatische kleinere Versions-Upgrades und Patches mit der Option, ein Wartungsfenster zu bestimmen, in dem diese Upgrades durchgeführt werden. Das Wartungsfenster ist Ihre Möglichkeit zu steuern, wann Software-Patches durchgeführt werden, falls sie angefordert werden oder erforderlich sind. Wenn ein Wartungsereignis für eine bestimmte Woche geplant ist, wird es innerhalb des von Ihnen festgelegten Wartungszeitfensters ausgelöst und abgeschlossen. Wartungsfenster haben eine Dauer von 2 Stunden.

F: Wie kann ich meinen Amazon MWAA-Service und die Ausführung von Workflows überwachen?

Amazon MWAA wird den Zugriff auf verfügbare Airflow-Umgebungen über die AWS-Managementkonsole, AWS CLI und SDK ermöglichen. Die Airflow-Benutzeroberfläche kann für den direkten Internet- und/oder VPC-Zugang konfiguriert werden. Airflow-Befehlszeilenanweisungen werden über einen API-Aufruf und die AWS CLI verfügbar sein.

F: Welche Airflow-Plugins unterstützt der Dienst?

Amazon MWAA unterstützt alle über 100 bisher entwickelten Airflow-Community-Plugins sowie alle benutzerdefinierten Plugins, die Sie erstellen, indem Sie sie einfach in einem S3-Bucket ablegen.

F: Wie kann ich meinen Amazon MWAA-Service und die Ausführung von Workflows überwachen?

Sie können auf jede Airflow-Umgebung direkt über die Amazon MWAA-Verwaltungskonsole und die Airflow-Benutzeroberfläche zugreifen. Airflow-Metriken werden in Amazon CloudWatch Metrics veröffentlicht, und Protokolle werden in CloudWatch Logs veröffentlicht.

F: Wann sollte ich Amazon MWAA im Vergleich zu AWS Step Functions?

Sie sollten Amazon MWAA verwenden, wenn Sie Wert auf Open Source und Portabilität legen. Airflow hat eine große und aktive Open-Source-Community, die regelmäßig neue Funktionen und Integrationen beisteuert. Amazon MWAA unterstützt bestehende Airflow-Workflows und -Integrationen ohne Änderungen am Code, die Migration ist einfach, und die Umgebung ist vertraut.

Sie sollten Step Functions verwenden, wenn Sie die Priorität auf Kosten und Leistung legen. Wenn Sie beispielsweise Streaming-Daten verarbeiten und diese in mehreren Schritten transformieren, bevor Sie sie in eine DynamoDB-Datenbank oder S3 stellen, sollten Sie Step Functions verwenden, da diese eine höhere Leistung bei geringeren Kosten bieten.

Standard Product Icons (Features) Squid Ink
Weitere Informationen zur Preisberechnung

Besuchen Sie die Seite mit den Preisen für Amazon MWAA.

Weitere Informationen 
Sign up for a free account
Registrieren Sie sich und erhalten Sie ein kostenloses Konto

Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent. 

Registrieren 
Standard Product Icons (Start Building) Squid Ink
Beginnen Sie mit der Entwicklung in der Konsole

Beginnen Sie mit dem Erstellen mit Amazon MWAA in der AWS-Managementkonsole.

Anmeldung