Datenintegration in AWS

Ihre Daten stammen aus vielen Quellen in einer Vielzahl von Formaten: gehosteten Anwendungen von Drittanbietern, On-Premises-Datenspeichern und operativen Datenspeichern. AWS-Services stellen eine Verbindung zu Hunderten von Datenquellen her, einschließlich Software-as-a-Service (SaaS) von Drittanbietern, On-Premises-Daten und Daten in anderen Clouds. Sobald Sie Daten verbunden oder in Data Lakes, Warehouses und Datenbanken verschoben haben, können Sie sie in Ihrem gesamten Unternehmen sicher verfügbar machen.

AWS Glue, einer der vielen AWS-Datenintegrationsservices, konsolidiert wichtige Datenintegrationsfunktionen an einem Ort, einschließlich Datenerkennung, -extraktion, -transformation und -laden (ETL), Bereinigung, Transformation und zentralisierter Katalogisierung. Es ist Serverless und kann Worker nach Bedarf automatisch bereitstellen und verwalten.

AWS bietet Tools, die den Anforderungen von Dateningenieuren, ETL-Entwicklern und Geschäftsanalysten entsprechen und Benutzern auf allen technischen Ebenen dabei helfen, ihre Daten interaktiv zu erkunden und mit ihnen zu arbeiten. Sie können Daten mit einer Drag-and-Drop-Oberfläche in AWS Glue Studio visuell transformieren, Daten mit dem Datenvorbereitungstool AWS Glue DataBrew bereinigen und normalisieren und Daten mit Ihrer bevorzugten integrierten Entwicklungsumgebung (IDE) oder Ihrem Notebook testen.

Oft müssen Unternehmen eine Vielzahl von Datenverarbeitungs-Frameworks wie ETL, Reverse-ETL und Extract, Load, Transform (ELT) sowie verschiedene Workloads wie Batch, Microbatch und Streaming unterstützen. AWS bietet flexiblen Support für alle Frameworks und Workloads und ermöglicht Portabilität durch Nutzung von Open-Source-Standards.

AWS hilft Ihnen dabei, von jedem Ort, an dem Sie sie speichern, auf Daten zuzugreifen und diese zu integrieren, sodass sich Ihre Datenintegrationsteams auf hochwertige Aktivitäten konzentrieren können, die den Wert Ihrer Daten maximieren.

Mit AWS Glue ist es einfach, all Ihre Daten in jeder Größenordnung zu finden, aufzubereiten und zu integrieren. Der AWS Database Migration Service hilft dabei, Datenbank- und Analyse-Workloads schnell, sicher und mit minimalen Ausfallzeiten und ohne Datenverlust zu AWS zu verschieben. Amazon Managed Workflows für Apache Airflow (MWAA) bietet eine sichere und hochverfügbare verwaltete Workflow-Orchestrierung für Apache Airflow. AWS Data Exchange verbindet sich mit Daten von Drittanbietern von über 300 Datenanbietern und über 3 500 Datenprodukten.

Für komplexe Anwendungsfälle, in denen Sie Daten transformieren, Daten normalisieren, die Datenqualität überprüfen müssen, bevor Sie Daten aus einem Rohdatenspeicher aufnehmen, oder Tabellenspalten, Zeilen oder Datengrößen reduzieren müssen, erleichtert Ihnen AWS Glue die Vorbereitung und Integration von Daten.

Für häufige Anwendungsfälle, in denen ETL regelmäßig wiederholt wird, können Sie die Funktionen von AWS Zero-ETL verwenden, sodass Sie keine ETL-Pipelines erstellen und verwalten müssen. Mit den Funktionen von AWS Zero-ETL können Sie Streaming-Daten von Amazon Managed Streaming für Apache Kafka direkt in Amazon Redshift erfassen, Amazon-Aurora-Daten mit Amazon Redshift nahezu in Echtzeit analysieren und vieles mehr.

Benutzer im gesamten Unternehmen verfügen über unterschiedliche technische Fähigkeiten, um mit den Daten zu interagieren, und sind ohne die richtigen Tools möglicherweise nicht in der Lage, dies zu tun.

AWS bietet kompetenzspezifische Benutzeroberflächen und Tools zur Auftragserstellung für alle Benutzertypen, von Entwicklern bis hin zu Geschäftsanwendern. AWS Glue Studio generiert automatisch ETL-Code und ermöglicht ETL-Entwicklern und Geschäftsanalysten die Transformation von Daten mit einer No-Code-Schnittstelle. Mit AWS Glue können Entwickler und Ingenieure auch ihre bevorzugten IDE, Notebooks und Verarbeitungs-Engines verwenden. Amazon Managed Workflows für Apache Airflow ermöglicht es Wissenschaftlern und Ingenieuren, durchgängige Datenpipelines zu orchestrieren.

AWS bietet Unterstützung für verschiedene Workloads ohne Bindung.

Mit AWS Glue Studio können Sie hochgradig skalierbare ETL-Aufträge erstellen, ohne ein Apache-Spark-Experte zu werden, und strukturierte und unstrukturierte Daten in Data Warehouses und Data Lakes laden. Amazon Managed Streaming für Apache Kafka (MSK) und Amazon Kinesis machen es einfach, Streaming-Daten in Echtzeit erfassen und zu verarbeiten. Andere gängige Workloads umfassen Batch-Datentransformation, Datenbankreplikation, Datenerfaassung aus SaaS, Datenfreigabe zwischen Teams und Abonnement von Drittanbieterdaten.