AWS Lake Formation

Entwickeln Sie einen sicheren Data Lake in wenigen Tagen

AWS Lake Formation ist ein Service, der es Ihnen ermöglicht, innerhalb weniger Tage einen sicheren Data Lake einzurichten. Ein Data Lake ist ein zentralisiertes, verwaltetes und gesichertes Repository, das alle Ihre Daten speichert, sowohl in ihrer ursprünglichen Form als auch zur Analyse vorbereitet. Ein Data Lake ermöglicht es Ihnen, Datensilos zu zerlegen und verschiedene Arten von Analysen zu kombinieren, um so Einsichten zu gewinnen und bessere Geschäftsentscheidungen treffen zu können.

Allerdings ist die Einrichtung und Verwaltung von Data Lakes heute mit vielen manuellen, komplizierten und zeitaufwändigen Aufgaben verbunden. Diese Arbeit umfasst das Laden von Daten aus verschiedenen Quellen, das Überwachen dieser Datenflüsse, das Einrichten von Partitionen, das Aktivieren von Verschlüsselung und Schlüsselverwaltung, das Definieren von Transformationsjobs und das Überwachen ihres Betriebs, das Reorganisieren von Daten in ein spaltenförmiges Format, das Konfigurieren von Zugriffskontrolleinstellungen, das Deduplizieren redundanter Daten, das Abgleichen verknüpfter Datensätze, das Gewährleisten des Zugriffs auf Datensätze und das Überprüfen des Zugriffs im Zeitablauf.

Die Erstellung eines Data Lake mit Lake Formation umfasst lediglich die Angabe, wo sich Ihre Daten befinden und welche Datenzugriffs- und Sicherheitsrichtlinien Sie anwenden möchten. Lake Formation sammelt und katalogisiert dann Daten aus Datenbanken und Objektspeichern, verschiebt die Daten in Ihren neuen Amazon S3 Data Lake, bereinigt und klassifiziert Daten mit Hilfe von Machine Learning-Algorithmen und sichert den Zugriff auf Ihre vertraulichen Daten. Ihre Benutzer können dann auf einen zentralen Datenkatalog zugreifen, der die verfügbaren Datensätze und deren Verwendung beschreibt. Die Benutzer verwenden diese Datensätze dann mit ihrer Auswahl an Analyse- und Machine Learning-Services, wie Amazon EMR für Apache Spark, Amazon Redshift, Amazon Athena, Amazon Sagemaker und Amazon QuickSight.

AWS re:Invent 2018 - Ankündigung von AWS Lake Formation

Vorteile

Schnelle Erstellung von Data Lakes

Mit Lake Formation können Sie Ihre Daten schneller verschieben, speichern, katalogisieren und bereinigen. Sie stellen Lake Formation einfach den Pfad zu Ihren Datenquellen zur Verfügung und Lake Formation scannt Ihre Quellen und verschiebt die Daten in Ihren neuen Amazon S3 Data Lake. Lake Formation organisiert Daten in S3 auf Basis häufig verwendeter Abfragebegriffe in angemessen dimensionierte Blöcke, um die Effizienz zu steigern. Lake Formation wandelt Daten auch zur schnelleren Analyse in Formate wie Apache Parquet und ORC um. Darüber hinaus besitzt Lake Formation integrierte Machine-Learning-Funktionen, um übereinstimmende Datensätze (Einträge mit identischem Zielverweis) zu deduplizieren und zu finden. So kann die Datenqualität gesteigert werden.

Vereinfachte Sicherheitsverwaltung

Sie können Lake Formation verwenden, um Sicherheits-, Governance- und Auditing-Richtlinien zentral zu definieren, statt diese Aufgaben serviceabhängig durchzuführen. Dann können Sie diese Richtlinien für Ihre Benutzer über alle Analyseanwendungen hinweg durchsetzen. Ihre Richtlinien werden einheitlich umgesetzt. Somit entfällt die Notwendigkeit, sie manuell in allen Sicherheitsservices (AWS Identity and Access Management und AWS Key Management Service), Speicherservices (S3) und Analyse- und Machine-Learning-Services (Redshift, Athena und EMR für Apache Spark) zu konfigurieren. Damit sparen Sie Mühe bei der Konfiguration serviceübergreifender Richtlinien und ermöglichen eine einheitliche Durchsetzung und Compliance.

Sicherer und einfacher Self-Service-Zugang zu Daten

Mit Lake Formation erstellen Sie einen Datenkatalog, der die unterschiedlichen verfügbaren Datensätze sowie die zum Zugriff berechtigten Benutzergruppen beschreibt. So steigern Sie die Produktivität Ihrer Benutzer, indem Sie ihnen dabei helfen, den richtigen Datensatz zur Analyse zu finden. Durch die Bereitstellung eines Datenkatalogs mit einheitlicher Sicherheitsdurchsetzung macht Lake Formation es für Ihre Analysten und Datenwissenschaftler einfacher, ihren bevorzugten Analyseservice zu verwenden.
Sie können EMR für Apache Spark, Redshift, Athena, Sagemaker oder QuickSight mit verschiedensten Datensätzen verwenden, die in einem einzigen Data Lake gespeichert werden. Benutzer können diese Services auch kombinieren, ohne Daten zwischen Silos verschieben zu müssen.

So funktioniert es

AWS Lake Formation - So funktioniert es

Lake Formation hilft Ihnen bei der Erstellung, Sicherung und Verwaltung Ihres Data Lake. Ermitteln Sie als nächstes bestehende Datenspeicher in S3 oder relationalen und NoSQL-Datenbanken und verschieben Sie die Daten in Ihren Data Lake. Scannen, katalogisieren und berieten Sie die Daten dann zur Analyse vor. Stellen Sie Ihren Benutzern anschließend einen sicheren Self-Service-Zugriff auf die Daten über die Analyseservices ihrer Wahl bereit. Andere AWS-Services und Drittanbieteranwendungen können ebenfalls über die gezeigten Services auf Daten zugreifen. Lake Formation verwaltet alle Aufgaben im orangefarbenen Kasten und ist mit den in den blauen Kästen gezeigten Datenspeichern und Services kompatibel.

Anwendungsfälle

Erfahren Sie mehr über "Was ist ein Data Lake?" und Anwendungsfälle.

Kunden

change-healthcare-red-blue-logo

Change Healthcare ist ein führendes Unternehmen für Technologie im Gesundheitswesen, das daten- und analysegetriebene Lösungen für fast 2.100 staatliche und private Krankenkassenverbindungen, 5.500 Krankenhäuser, 900.000 Ärzte und 33.000 Apotheken bereitstellt.

„Wir verarbeiten Daten aus Millionen von Transaktionen täglich und halten dabei Vorschriften für das Gesundheitswesen ein, darunter HIPAA“, sagt Aaron Symanski, CTO von Change Healthcare. „Wir sind begeistert von der Einführung von AWS Lake Formation, das einen zentralen Steuerpunkt zum einfachen Laden, Bereinigen, Sichern und Katalogisieren von Daten tausender Kunden in unserem AWS-basierten Data Lake bietet. Damit können wir unsere Betriebsauslastung drastisch reduzieren. Die Datenzugriffskontrollen in Lake Formation machen es für uns einfach, unsere Richtlinien einmalig zu definieren und diese dann in allen von uns verwendeten Analyse- und Machine-Learning-Services durchzusetzen, während Audit-Protokolle die Compliance nachweisen. Außerdem ist Lake Formation schon von Beginn an HIPAA-konform, erfüllt unsere Sicherheitsanforderungen und bietet einen effizienten Weg zur Erstellung und Verwaltung unseres Data Lake“.

Fender_digital

Fender Digital ist ein Teil der legendären Gitarrenmarke Fender, die Apps, Webseiten und Tools als Ergänzung zu den von Fender hergestellten Gitarren, Verstärkern und Audiogeräten entwickelt.

„Wir erzeugen mit unseren digitalen Anwendungen und Services eine Unmenge an Benutzer- und Nutzungsdaten. Wir planen die Erstellung eines Data Lake auf AWS, um diesen parallel zu unserem auf Amazon Redshift basierendem Data Warehouse zu betreiben“, sagt Joshua Couch, VP Engineering bei Fender Digital. „Ich kann es kaum erwarten, bis wir bei unserem Team mit AWS Lake Formation loslegen können. Lake Formation wird es für uns leicht machen, unsere Daten zu laden, transformieren und katalogisieren und sie über eine Vielzahl an AWS-Services hinweg in unserem Unternehmen bereitzustellen. Mit einer unternehmensorientierten Option wie Lake Formation können wir mehr Zeit damit verbringen, Wert aus unseren Daten zu schöpfen, statt Ressourcen für die manuelle Einrichtung und Verwaltung unseres Data Lake aufzuwenden.

Product-Page_Standard-Icons_01_Product-Features_SqInk
Weitere Informationen zu den Merkmalen von AWS Lake Formation
Weitere Informationen 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Für einen Konto registrieren
Registrieren 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Beginnen Sie mit der Entwicklung in der Konsole
Anmeldung