AWS Glue

Einfache, skalierbare und Serverless-Datenintegration

AWS Glue ist ein serverloser Datenintegrationsdienst, der das Auffinden, Aufbereiten und Kombinieren von Daten für Analysen, Machine Learning und die Anwendungsentwicklung vereinfacht. AWS Glue bietet alle nötigen Funktionen für die Datenintegration, durch die Sie Daten in Minuten statt Monaten analysieren und verwerten können.

Datenintegration bezeichnet den Prozess des Aufbereiten und Kombinierens von Daten für die Analyse, Machine Learning und die Anwendungsentwicklung. Er involviert mehrere Aufgaben wie das Auffinden und Extrahieren der Daten aus mehreren Quellen, das Anreichern, Bereinigen, Normalisieren und Kombinieren der Daten und das Laden und Organisieren der Daten in Datenbanken, Data Warehouses und Data Lakes. Diese Aufgaben werden oft von unterschiedlichen Benutzertypen erledigt, die unterschiedliche Produkte verwenden.

AWS Glue bietet sowohl visuelle als auch codebasierte Schnittstellen, um die Datenintegration zu erleichtern. Benutzer können Daten mit dem AWS Glue-Datenkatalog einfach auffinden und aufrufen. Dateningenieure und ETL-Entwickler (Extract, Transform, Load = extrahieren, übertragen, laden) können AWS Glue Studio verwenden, um ETL-Workflows mit wenigen Klicks visuell zu erstellen, auszuführen und zu überwachen. Datenanalytiker und Daten-Wissenschaftler können AWS Glue DataBrew verwenden, um Daten visuell anzureichern, zu bereinigen und zu normalisieren, ohne Code zu schreiben. Mit AWS Glue Elastic Views können Anwendungsentwickler die gewohnte Structured Query Language (SQL) verwenden, um Daten aus verschiedenen Speichern zu kombinieren und zu replizieren.

Einführung von AWS Glue (1:47)

Vorteile

Schnellere Datenintegration

Verschiedene Gruppen in Ihrem Unternehmen können mit AWS Glue zusammen an Aufgaben zur Datenintegration arbeiten, einschließlich Extrahieren, Bereinigen, Normalisieren, Kombinieren, Laden und Ausführen skalierbarer ETL-Workflows. Auf diese Weise reduzieren Sie die Zeit, die für die Analyse Ihrer Daten benötigt wird, und können Sie innerhalb von Minuten statt Monaten nutzen.

Automatisieren der Datenintegration im großen Maßstab

AWS Glue automatisiert einen Großteil des Aufwands, der für die Datenintegration erforderlich ist. AWS Glue durchsucht Ihre Datenquellen, identifiziert Datenformate und schlägt Schemata zur Speicherung Ihrer Daten vor. Es generiert automatisch den Code zur Ausführung Ihrer Datentransformationen und Ladeprozesse. Sie können mit AWS Glue einfach Tausende ETL-Aufgaben ausführen und verwalten oder Daten aus mehreren Datenspeichern mit SQL kombinieren und replizieren.

Keine Server zu verwalten

AWS Glue läuft in einer serverlosen Umgebung. Es gibt keine Infrastruktur zur Verwaltung und AWS Glue stellt die für die Ausführung Ihrer Datenintegrationsaufgaben erforderlichen Ressourcen bereit, konfiguriert und skaliert sie. Sie zahlen nur für die Ressourcen, die Ihre Jobs während der Ausführung verbrauchen.

Anwendungsfälle


Entwickeln ereignisgesteuerter ETL-Pipelines (Extract, Transform und Load)

AWS Glue kann Ihre ETL-Jobs ausführen, sobald neue Daten eintreffen. Sie können zum Auslösen Ihre ETL-Aufträge beispielsweise eine AWS Lambda-Funktion nutzen, um sie auszuführen, sobald in Amazon S3 neue Daten verfügbar sind. Darüber hinaus haben Sie die Möglichkeit, den neuen Datensatz im Rahmen Ihrer ETL-Aufträge im AWS Glue-Datenkatalog zu speichern.

Diagramm ereignisgesteuerter ETL-Pipelines

Erstellen eines einheitlichen Katalogs zum Auffinden von Daten in mehreren Datenspeichern

Sie können mithilfe des AWS Glue-Datenkatalogs schnell mehrere AWS-Datensätze durchsuchen, ohne die Daten zu verschieben. Die Daten sind nach der Katalogisierung sofort zum Durchsuchen und Abfragen mit Amazon Athena, Amazon EMR und Amazon Redshift Spectrum bereit.

Erstellen und Ausführen von ELT-Aufgaben in AWS Glue

Erstellen, Ausführen und Überwachen von ETL-Aufgaben ohne Code

AWS Glue Studio macht es einfach, AWS Glue ETL-Aufgaben visuell zu erstellen, auszuführen und zu überwachen. Sie können in einem Drag-and-Drop-Editor ETL-Aufgaben erstellen, die Daten verschieben und transformieren, und AWS Glue erzeugt den Code automatisch. Sie können dann das AWS Glue Studio Job Run Dashboard verwenden, um die ETL-Ausführung zu überwachen und sicherzustellen, dass Ihre Aufgaben wie vorgesehen funktionieren. Mehr über AWS Glue Studio erfahren Sie hier.

Visuelles ETL-Tool für ETL-Entwickler

Daten mit visueller Self-Service-Datenaufbereitung analysieren

AWS Glue DataBrew ermöglicht es Ihnen, Daten direkt aus Ihrem Data Lake, Data Warehouses und Datenbanken, einschließlich Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora und Amazon RDS, zu untersuchen und mit ihnen zu experimentieren. Sie können aus über 250 vorgefertigten Transformationen in AWS Glue DataBrew wählen, um Datenvorbereitungsaufgaben wie das Filtern von Anomalien, die Standardisierung von Formaten und die Korrektur ungültiger Werte zu automatisieren. Nachdem die Daten aufbereitet sind, können Sie sie sofort für Analysen und Machine Learning verwenden. Mehr über AWS Glue DataBrew erfahren Sie hier.

Visuelle Datenbereinigung und Datennormalisierung

Erstellen materialisierter Übersichten zur Kombination und Replikation von Daten (in der Vorschau)

AWS Glue Elastic Views ermöglicht die Erstellung materialisierter Übersichten mit der vertrauten SQL-Sprache. Mit diesen Übersichten können Sie Daten aus mehreren Quelldatenspeichern abrufen und kombinieren und diese in einem Zielspeicher fortlaufend aktualisieren und bereitstellen. Die Vorschauversion von AWS Glue Elastic Views unterstützt derzeit Amazon DynamoDB als Quelle, Support für Amazon Aurora und Amazon RDS folgt. Als Ziele werden derzeit Amazon Redshift, Amazon S3 und Amazon Elasticsearch Service unterstützt, Support für Amazon Aurora, Amazon RDS und Amazon DynamoDB folgt. Mehr über AWS Glue Elastic Views erfahren Sie hier.

Visuelle Datenbereinigung und Datennormalisierung

Neues

Datum
  • Datum
1
AWS Glue-Funktionen
Funktionen von AWS Glue testen

Erfahren Sie mehr über die wichtigsten Funktionen von AWS Glue.

Weitere Informationen 
Registrieren Sie sich für ein AWS-Konto
Registrieren Sie sich und erhalten Sie ein kostenloses Konto

Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent. 

Registrieren 
Mit der Entwicklung in der Konsole beginnen
Mit der Entwicklung in AWS Glue beginnen

Beginnen Sie mit der Entwicklung mit AWS Glue in der visuellen ETL-Schnittstelle.

Anmelden