AWS Glue
Alle Ihre Daten in beliebigem Umfang entdecken, vorbereiten und integrierenVorteile von AWS Glue
Funktionsweise
AWS Glue ist ein Serverless-Datenintegrationsservice, der das Erkennen, Aufbereiten, Verschieben und Integrieren von Daten aus verschiedenen Quellen für Analysen, Machine Learning (ML) und Anwendungsentwicklung erleichtert.
-
Datenintegrations-Engine-Optionen
-
Ereignisgesteuertes ETL
-
AWS-Glue-Datenkatalog
-
Codefreie ETL-Aufträge
-
Datenqualität verwalten und überwachen
-
Datenaufbereitung
-
Datenintegrations-Engine-Optionen
-
Wählen Sie Ihre bevorzugte Datenintegrations-Engine in AWS Glue, um Ihre Benutzer und Workloads zu unterstützen.
Zum Vergrößern anklicken
Das Diagramm zeigt, wie AWS-Glue-Benutzer aus Schnittstellenoptionen wählen können, um Workloads mit mehreren Datenintegrations-Engines zu erstellen. Vier Abschnitte werden angezeigt: einer auf der linken Seite, zwei in der Mitte und einer auf der rechten Seite.
Der erste Abschnitt auf der linken Seite heißt „Datenquellen“. Es umfasst die folgenden Datenquellen: „Amazon S3“, „Amazon DynamoDB“, „Datenbanken, die auf Amazon EC2 laufen“, „Datenbanken“ und „SaaS“.
Vom ersten Abschnitt aus zeigt ein Pfeil auf den mittleren Abschnitt am oberen Rand des Diagramms mit der Bezeichnung „Auswahl der Schnittstellen“. In diesem zweiten Abschnitt sind drei Punkte enthalten: „AWS Glue Studio“, „Amazon SageMaker Notebooks“ und „Notebooks und IDEs“.
Unter diesem zweiten Abschnitt heißt es: „Offene Schnittstellen unterstützen interaktive und Auftrags-Workloads“. Dieser Text enthält einen Pfeil, der auf den zuvor beschriebenen zweiten Abschnitt darüber verweist, und einen Pfeil, der auf den dritten Abschnitt darunter verweist.
Dieser dritte Abschnitt heißt „Datenintegrations-Engines“. Im Text heißt es: „Wählen Sie eine bevorzugte skalierbare Serverless-Datenverarbeitungs-Engine mit automatischer Skalierung und nutzungsabhängiger Preisberechnung“. Dieser Abschnitt enthält drei Engine-Namen: „AWS Glue for Ray“, „AWS Glue for Python Shell“ und „AWS Glue for Apache Spark“.
Der vierte Abschnitt erscheint rechts vom zweiten Abschnitt mit einem Pfeil, der vom zweiten Abschnitt zum vierten Abschnitt zeigt. Der vierte Abschnitt lautet: „Daten in Data Lakes und Data Warehouses erstellen und laden“. Dieser Abschnitt enthält auch drei Punkte: „Amazon Redshift“, „Data Lakes“ und „Data Warehouses“.
-
Ereignisgesteuertes ETL
-
AWS Glue kann Ihre Extraktions-, Transformations- und Ladeaufträge (ETL) ausführen, sobald neue Daten eintreffen. Sie können AWS Glue zum Beispiel so konfigurieren, dass Ihre ETL-Aufträge ausgeführt werden, sobald neue Daten im Amazon Simple Storage Service (S3) verfügbar sind.
.3f3f393bfdb3deefdf183c1cfd39741f99eed6c6.png)
-
AWS-Glue-Datenkatalog
-
Sie können mithilfe des Datenkatalogs schnell mehrere AWS-Datensätze durchsuchen, ohne die Daten zu verschieben. Die Daten sind nach der Katalogisierung sofort zum Durchsuchen und Abfragen mit Amazon Athena, Amazon EMR und Amazon Redshift Spectrum bereit.
.cbbd4734e6a79cc3d2569064d0010605a0a307ae.png)
-
Codefreie ETL-Aufträge
-
AWS Glue Studio macht es einfacher, AWS-Glue-ETL-Aufgaben visuell zu erstellen, auszuführen und zu überwachen. Sie können in einem Drag-and-Drop-Editor ETL-Aufgaben erstellen, die Daten verschieben und transformieren, und AWS Glue erzeugt den Code automatisch.
.522ef785088de982530b9fdde4c8be146562fa0f.png)
-
Datenqualität verwalten und überwachen
-
AWS Glue Data Quality automatisiert die Erstellung, Verwaltung und Überwachung von Datenqualitätsregeln, um eine hohe Datenqualität in Ihren Data Lakes und Pipelines zu gewährleisten.
Zum Vergrößern anklicken
Das Diagramm zeigt, wie AWS Glue Data Quality verwendet werden kann, um Regelempfehlungen zu erstellen, die Datenqualität zu überwachen und Warnungen zu senden, wenn sich die Datenqualität verschlechtert. Drei Abschnitte werden von links nach rechts angezeigt.
Der erste Abschnitt enthält eine Illustration von AWS Glue Data Catalog und AWS Glue ETL. Unter AWS Glue Data Catalog heißt es: „Katalogisieren Sie alle Datensätze in Ihren Data Lakes“. Unter AWS Glue ETL heißt es: „Integrieren und transformieren Sie Daten aus unterschiedlichen Datenquellen“.
Der zweite Abschnitt trägt den Titel „AWS-Glue-Datenqualität“. In diesem Abschnitt gibt es drei Symbole. Das erste ist eine Checkliste. Darunter steht: „Empfehlungen für Datenqualitätsregeln. Erste Schritte im Handumdrehen mit automatischen Empfehlungen für Datenqualitätsregeln“. Das zweite Symbol ist ein Stift. Darunter steht: „Vorkonfigurierte Datenqualitätsregeln. Bearbeiten oder ergänzen Sie Empfehlungen mit vorkonfigurierten Datenqualitätsregeln“. Das dritte Symbol ist eine Glocke. Darunter steht: „Warnungen und Aktionen. Fügen Sie Warnungen und Aktionen hinzu, die bei einer Verschlechterung der Datenqualität durchgeführt werden sollen.
Im dritten Bereich sind zwei Symbole übereinander angeordnet. Das erste Symbol ist ein Balkendiagramm. Darunter steht: „Metriken. Nutzen Sie die Metriken zur Datenqualität, um sichere Geschäftsentscheidungen zu treffen“. Das zweite Symbol ist ein Warnzeichen. Darunter steht: „Warnungen. Verwenden Sie Warnungen, um benachrichtigt zu werden, wenn sich die Qualität verschlechtert, und ergreifen Sie Maßnahmen, um die Daten zu korrigieren.“
-
Datenaufbereitung
-
Mit AWS Glue DataBrew können Sie Daten direkt aus Ihrem Data Lake, Data Warehouses und Datenbanken, einschließlich Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora und Amazon Relational Database Service (RDS), untersuchen und mit ihnen experimentieren. Sie können aus über 250 vorgefertigten Transformationen in DataBrew wählen, um Datenaufbereitungsaufgaben wie das Filtern von Anomalien, die Standardisierung von Formaten und die Korrektur ungültiger Werte zu automatisieren.
.0e1a87155040f71dcc92464a283f1adddd39cf85.png)