Amazon Redshift-Lake-House-Architektur

Fragen Sie alle Ihre Daten in offenen Dateiformaten ab. Kein Laden von Daten erforderlich.

Die Menge an Daten, die vom IoT, von intelligenten Geräten, Cloud-Anwendungen und sozialen Medien generiert wird, nimmt exponentiell zu. Sie benötigen eine Möglichkeit, alle diese Daten unabhängig von ihrem Format oder Speicherort auf einfache, kostengünstige Weise zu analysieren, um möglichst schnell Einblicke zu gewinnen.

Amazon Redshift liegt der Lake-House-Architektur zugrunde und ermöglicht die übergreifende Abfrage von Daten im Data Warehouse, im Data Lake und in Ihren Betriebsdatenbanken. Auf diese Weise gewinnen Sie schnellere, umfangreichere Einblicke, die sonst nicht möglich wären. Eine Lake-House-Architektur ermöglicht die Speicherung von Daten in offenen Dateiformaten in Ihrem Amazon S3-Data-Lake. Dadurch können diese Daten auch ganz einfach für andere Analyse- und Machine-Learning-Tools zur Verfügung gestellt werden, anstatt sie in einem neuen Silo zu isolieren.

Eine Amazon Redshift-Lake-House-Architektur bietet die folgenden Möglichkeiten:

  • Einfache Abfrage von Daten in Ihrem Data Lake und Schreiben von Daten in offenen Formaten in den Data Lake
  • Kombinieren und Verarbeiten von Daten in allen Ihren Datenspeichern mithilfe von vertrauten SQL-Anweisungen
  • Ausführen von Abfragen für Live-Daten in Ihren Betriebsdatenbanken, ohne dass Daten geladen werden oder ETL-Pipelines vorhanden sein müssen.

Vortrag auf der re:Invent 2019: Amazon Redshift-Lake-House-Architektur (1:23)

Features

Die Amazon Redshift-Lake-House-Architektur basiert auf den folgenden Funktionen:

Amazon Redshift Spectrum

Fragen Sie Daten in offenen Formaten direkt im Amazon S3-Data-Lake ab, ohne die Daten laden oder Ihre Infrastruktur duplizieren zu müssen. Die Funktion Amazon Redshift Spectrum ermöglicht die Abfrage von offenen Dateiformaten wie beispielsweise Apache Parquet, ORC, JSON, Avro und CSV. Befolgen Sie zum Einstieg dieses schrittweise Tutorial.

Data Lake Export

Speichern Sie die Ergebnisse von Amazon Redshift-Abfragen mit Data Lake Export in einem offenen Dateiformat (Apache Parquet) direkt in Ihrem S3-Data-Lake. Anschließend können Sie diese Daten mithilfe von Amazon Redshift Spectrum oder anderen AWS-Services wie beispielsweise Sagemaker für Machine Learning und EMR für ETL-Operationen analysieren. Sehen Sie sich zum Einstieg dieses 5-minütige Video an.

Verbundabfrage

Mit der

Verbundabfrage ist es in Amazon Redshift möglich, Daten direkt in Amazon RDS- und Aurora PostgreSQL-Speichern abzufragen. Dadurch können Sie aktuelle Daten ganz ohne ETL-Operationen in Ihre Berichte und BI-Anwendungen aufnehmen. Sehen Sie sich zum Einstieg dieses 5-minütige Video an oder lesen Sie dieses Tutorial.

Warner Bros.
„Wir nutzen viele Analysetools von AWS und Drittanbietern und wir freuen uns, dass Amazon Redshift nach wie vor die gleichen vielfältigen Datentransformationsmuster anwendet wie wir mit unserer eigenen Lösung. Wir nutzen die Möglichkeit, offene Dateiformate in unserem Data Lake mit Amazon Redshift abzufragen, schon seit 2017. Mit der neuen Funktion Redshift Data Lake Export können wir jetzt auch völlig problemlos Daten in unseren Data Lake schreiben. Und dies alles mit gleichbleibend schneller Leistung, selbst bei der höchsten Abfragelast. Wir freuen uns darauf, die Synergien eines integrierten Big-Data-Stacks zu nutzen, um die Datenfreigabe über Amazon Redshift-Cluster hinweg zu fördern und eine höhere Wertschöpfung zu geringeren Kosten für alle unsere Spiele zu erzielen.“

Kurt Larson, Technical Director of Analytics Marketing Operations – Warner Bros. Analytics

Ressourcen

Blog

ETL- und ELT-Designmuster für die Lake-House-Architektur mit Amazon Redshift: Teil 1

Entwickeln Sie skalierbare ETL- und ELT-Designmuster für die Lake-House-Architektur mit Amazon Redshift: Teil 1.

Blog lesen »
Tutorial

Erste Schritte mit Amazon Redshift Spectrum

Schrittweises Tutorial für den Einstieg in Amazon Redshift Spectrum.

Tutorial starten »
Kundengeschichte

So skalieren Sie Datenanalyse mit Amazon Redshift

Erfahren Sie, wie das Unterhaltungsunternehmen Warner Bros. seine Datenanalyse-Workloads mithilfe von Amazon Redshift skaliert.

Video ansehen »
Für ein AWS-Konto registrieren
Für ein AWS-Konto registrieren

Registrieren Sie sich für ein AWS-Konto und erhalten Sie sofortigen Zugriff auf das kostenlose Kontingent für AWS.

Konto erstellen 
Kostenloses Kontingent für AWS
Kostenloses Kontingent für AWS

Sammeln Sie praktische Erfahrungen mit der Plattform, den Produkten und Services von AWS – vollkommen kostenlos.

Weitere Informationen 
Datenbanken migrieren
Datenbanken migrieren

Migrieren Sie Ihre Datenbanken schnell und sicher mit dem AWS Database Migration Service.

Mehr entdecken