AWS Lake Formation

Entwickeln Sie einen sicheren Data Lake in wenigen Tagen

AWS Lake Formation ist ein Service, der es Ihnen ermöglicht, innerhalb weniger Tage einen sicheren Data Lake einzurichten. Ein Data Lake ist ein zentralisiertes, verwaltetes und gesichertes Repository, das alle Ihre Daten speichert, sowohl in ihrer ursprünglichen Form als auch zur Analyse vorbereitet. Ein Data Lake ermöglicht es Ihnen, Datensilos zu zerlegen und verschiedene Arten von Analysen zu kombinieren, um so Einsichten zu gewinnen und bessere Geschäftsentscheidungen treffen zu können.

Allerdings ist die Einrichtung und Verwaltung von Data Lakes heute mit vielen manuellen, komplizierten und zeitaufwändigen Aufgaben verbunden. Diese Arbeit umfasst das Laden von Daten aus verschiedenen Quellen, das Überwachen dieser Datenflüsse, das Einrichten von Partitionen, das Aktivieren von Verschlüsselung und Schlüsselverwaltung, das Definieren von Transformationsjobs und das Überwachen ihres Betriebs, das Reorganisieren von Daten in ein spaltenförmiges Format, das Konfigurieren von Zugriffskontrolleinstellungen, das Deduplizieren redundanter Daten, das Abgleichen verknüpfter Datensätze, das Gewährleisten des Zugriffs auf Datensätze und das Überprüfen des Zugriffs im Zeitablauf.

Das Erstellen eines Data Lake mit Lake Formation ist so einfach wie das Definieren von Datenquellen und der anzuwendenden Datenzugriffs- und Sicherheitsrichtlinien. Lake Formation hilft Ihnen dann beim Sammeln und Katalogisieren von Daten aus Datenbanken und Objektspeichern, beim Verschieben der Daten in Ihren neuen Amazon S3-Data Lake, beim Bereinigen und Klassifizieren Ihrer Daten mithilfe von Algorithmen für Machine Learning und beim sicheren Zugriff auf Ihre vertraulichen Daten. Ihre Benutzer können auf einen zentralen Datenkatalog zugreifen, der die verfügbaren Datensätze und ihre entsprechende Verwendung beschreibt. Die Benutzer verwenden diese Datensätze dann mit ihrer Auswahl an Analyse- und Machine Learning-Services, wie Amazon Redshift, Amazon Athena, und (in Beta) Amazon EMR für Apache Spark. Lake Formation baut auf den in AWS Glue verfügbaren Funktionen auf.

AWS re:Invent 2018 - Ankündigung von AWS Lake Formation

Vorteile

Schnelle Erstellung von Data Lakes

Mit Lake Formation können Sie Ihre Daten schneller verschieben, speichern, katalogisieren und bereinigen. Sie stellen Lake Formation einfach den Pfad zu Ihren Datenquellen zur Verfügung und Lake Formation scannt Ihre Quellen und verschiebt die Daten in Ihren neuen Amazon S3 Data Lake. Lake Formation organisiert Daten in S3 auf Basis häufig verwendeter Abfragebegriffe in angemessen dimensionierte Blöcke, um die Effizienz zu steigern. Lake Formation wandelt Daten auch zur schnelleren Analyse in Formate wie Apache Parquet und ORC um. Darüber hinaus besitzt Lake Formation integrierte Machine-Learning-Funktionen, um übereinstimmende Datensätze (Einträge mit identischem Zielverweis) zu deduplizieren und zu finden. So kann die Datenqualität gesteigert werden.

Vereinfachte Sicherheitsverwaltung

Sie können Lake Formation verwenden, um Sicherheits-, Governance- und Auditing-Richtlinien zentral zu definieren, statt diese Aufgaben serviceabhängig durchzuführen. Dann können Sie diese Richtlinien für Ihre Benutzer über alle Analyseanwendungen hinweg durchsetzen. Ihre Richtlinien werden konsequent implementiert, sodass sie nicht manuell für Sicherheitsdienste wie AWS Identity and Access Management und AWS Key Management Service, Speicherdienste wie S3 sowie Analytics- und Machine Learning-Dienste wie Redshift, Athena und (in Beta) EMR konfiguriert werden müssen für Apache Spark. Damit sparen Sie Mühe bei der Konfiguration serviceübergreifender Richtlinien und ermöglichen eine einheitliche Durchsetzung und Compliance.

Bieten Sie Self-Service-Zugriff auf Daten

Mit Lake Formation erstellen Sie einen Datenkatalog, der die unterschiedlichen verfügbaren Datensätze sowie die zum Zugriff berechtigten Benutzergruppen beschreibt. So steigern Sie die Produktivität Ihrer Benutzer, indem Sie ihnen dabei helfen, den richtigen Datensatz zur Analyse zu finden. Durch die Bereitstellung eines Datenkatalogs mit einheitlicher Sicherheitsdurchsetzung macht Lake Formation es für Ihre Analysten und Datenwissenschaftler einfacher, ihren bevorzugten Analyseservice zu verwenden.
Sie können EMR für Apache Spark (in Beta), Redshift oder Athena für verschiedene Datensätze verwenden, die sich jetzt in einem einzigen Datensee befinden. Benutzer können diese Services auch kombinieren, ohne Daten zwischen Silos verschieben zu müssen.

So funktioniert es

AWS Lake Formation - So funktioniert es

Lake Formation hilft Ihnen bei der Erstellung, Sicherung und Verwaltung Ihres Data Lake. Ermitteln Sie als nächstes bestehende Datenspeicher in S3 oder relationalen und NoSQL-Datenbanken und verschieben Sie die Daten in Ihren Data Lake. Scannen, katalogisieren und berieten Sie die Daten dann zur Analyse vor. Stellen Sie Ihren Benutzern anschließend einen sicheren Self-Service-Zugriff auf die Daten über die Analyseservices ihrer Wahl bereit. Andere AWS-Services und Drittanbieteranwendungen können ebenfalls über die gezeigten Services auf Daten zugreifen. Lake Formation verwaltet alle Aufgaben im orangefarbenen Kasten und ist mit den in den blauen Kästen gezeigten Datenspeichern und Services kompatibel.

Anwendungsfälle

Erfahren Sie mehr über "Was ist ein Data Lake?" und Anwendungsfälle.

Kunden

panasonic_logo

Die Panasonic Avionics Corporation ist der weltweit führende Anbieter von Unterhaltungs- und Kommunikationssystemen an Bord.

"Wir wollten eine Datenplattform schaffen, mit der die Sicherheitseinstellungen für alle verschiedenen Anwendungen in unserer Umgebung verwaltet werden können. Mit AWS Lake Formation können wir jetzt Richtlinien für mehrere von uns verwendete Dienste, einschließlich AWS Glue und Amazon Athena, einmal definieren und überall auf die gleiche Weise durchsetzen", sagte Anand Desikan, Direktor für Cloud- und Datendienste bei Panasonic Avionics. "Die erweiterte Kontrollebene ermöglicht uns den sicheren Zugriff auf Daten und Metadaten für Spalten und Tabellen, nicht nur für Bulk-Objekte, was ein wichtiger Bestandteil unseres Datenschutz- und Governance-Standards ist."

Accenture_Logo_Black_Purple_RGB

Accenture ist eine führende, weltweit agierende Unternehmensberatung mit einem umfassenden Portfolio an Services und Lösungen für die Bereiche Strategie, Beratung, Digitalisierung, Technologie und Betrieb.

"Ich konzentriere mich darauf, Kunden auf dem Weg ihrer Daten in die Cloud zu helfen. Insbesondere haben wir festgestellt, dass Unternehmen mit einem Mangel an vertrauenswürdigen Daten konfrontiert sind, wenn sie Analysen für Daten durchführen müssen, die aus mehreren Quellen stammen", sagte Namrata Maheshwary, Senior Architect der Data Business Group, Accenture. "Datenbereinigung ist ein entscheidender Schritt in der Datenanalyse und kann das Geschäftsergebnis und die Entscheidungsfindung erheblich beeinflussen. Die neuen Funktionen in AWS Lake Formation haben sich als äußerst nützlich erwiesen, um die Herausforderung der Datenwahrheit und des gesicherten Zugriffs auf den Datensee zu bewältigen. Wir fanden es äußerst nützlich, die fortgeschrittenen Techniken des maschinellen Lernens für die Datenaufbereitung zu nutzen, um übereinstimmende Datensätze zu finden, Daten zu bereinigen und aus verschiedenen Datenquellen zu deduplizieren. Dies wird dazu beitragen, Zeit, Aufwand und Kosten zu reduzieren und gleichzeitig die Qualität und Genauigkeit der Daten in den Datenseen eines Kunden zu verbessern."

Zalando

Zalando ist Europas führende Online-Plattform für Mode und Lifestyle.

"Als Europas modernstes Technologieunternehmen arbeiten wir hart daran, digitale Lösungen für jeden Aspekt der Modereise zu finden", sagte Alberto Miorin, technischer Leiter der Zalando SE. "Mit AWS Lake Formation haben wir einen skalierbaren zentralen Kontrollpunkt für den Datenzugriff über Amazon Redshift erhalten, der den Prozess nicht nur vereinfacht, sondern durch eine differenzierte Kontrolle über die Verwendung unserer Daten verbessert hat. Jetzt können wir mit unseren bevorzugten Tools Daten in unserem Data Lake entdecken, darauf zugreifen und analysieren und sie für Business Intelligence und Data Science nutzen. Dieser optimierte Workflow hilft unseren Führungskräften, rechtzeitig die richtigen Entscheidungen zu treffen, und fördert die Innovation durch Machine Learning.“

Logo_for_Life360_App

Life360 ist der weltweit führende Service für Familien. Die Life360-App bringt Familien mit intelligenten Funktionen näher zusammen, mit denen die wichtigsten Personen geschützt und miteinander verbunden werden.

"Wir wollten AWS Lake Formation verwenden, um unseren Data Lake für die Unterstützung von standortbasierten Zeitreihendaten zu erstellen und das Laden von Daten zu vereinfachen. Die vorgefertigten Entwürfe halfen dabei, Daten in den Data Lake zu bringen, ohne dass unser Data Engineering-Team Code von Grund auf neu schreiben musste, damit es sich auf die Operationalisierung von Ingest und nicht auf die Neuerfindung des Rads konzentrieren konnte“, sagte Richard Chennault, Leiter von Cloud and Data Services, Life360 , Inc. "Mit AWS Lake Formation konnten wir die in Amazon S3 verfügbaren Daten schnell entsperren und für die Analyse in einem breiten Spektrum von AWS-Datendiensten bereitstellen. Die Daten bleiben in Amazon S3 erhalten, wir können sie auf viele verschiedene Arten analysieren und behalten die volle Kontrolle darüber.“

change-healthcare-red-blue-logo

Change Healthcare ist ein führendes Unternehmen für Technologie im Gesundheitswesen, das daten- und analysegetriebene Lösungen für fast 2.100 staatliche und private Krankenkassenverbindungen, 5.500 Krankenhäuser, 900.000 Ärzte und 33.000 Apotheken bereitstellt.

„Wir verarbeiten Daten aus Millionen von Transaktionen täglich und halten dabei Vorschriften für das Gesundheitswesen ein, darunter HIPAA“, sagt Aaron Symanski, CTO von Change Healthcare. „Wir sind begeistert von der Einführung von AWS Lake Formation, das einen zentralen Steuerpunkt zum einfachen Laden, Bereinigen, Sichern und Katalogisieren von Daten tausender Kunden in unserem AWS-basierten Data Lake bietet. Damit können wir unsere Betriebsauslastung drastisch reduzieren. Die Datenzugriffskontrollen in Lake Formation machen es für uns einfach, unsere Richtlinien einmalig zu definieren und diese dann in allen von uns verwendeten Analyse- und Machine-Learning-Services durchzusetzen, während Audit-Protokolle die Compliance nachweisen. Außerdem ist Lake Formation schon von Beginn an HIPAA-konform, erfüllt unsere Sicherheitsanforderungen und bietet einen effizienten Weg zur Erstellung und Verwaltung unseres Data Lake“.

Fender_digital

Fender Digital ist ein Teil der legendären Gitarrenmarke Fender, die Apps, Webseiten und Tools als Ergänzung zu den von Fender hergestellten Gitarren, Verstärkern und Audiogeräten entwickelt.

„Wir erzeugen mit unseren digitalen Anwendungen und Services eine Unmenge an Benutzer- und Nutzungsdaten. Wir planen die Erstellung eines Data Lake auf AWS, um diesen parallel zu unserem auf Amazon Redshift basierendem Data Warehouse zu betreiben“, sagt Joshua Couch, VP Engineering bei Fender Digital. „Ich kann es kaum erwarten, bis wir bei unserem Team mit AWS Lake Formation loslegen können. Lake Formation wird es für uns leicht machen, unsere Daten zu laden, transformieren und katalogisieren und sie über eine Vielzahl an AWS-Services hinweg in unserem Unternehmen bereitzustellen. Mit einer unternehmensorientierten Option wie Lake Formation können wir mehr Zeit damit verbringen, Wert aus unseren Daten zu schöpfen, statt Ressourcen für die manuelle Einrichtung und Verwaltung unseres Data Lake aufzuwenden.

cloudreach-logo

Cloudreach basiert auf der Migrations- und Verwaltungssoftware-Plattform Cloudamize und bringt Einfachheit und absolutes Vertrauen in die datengetriebene Entscheidungsfindung.

"AWS Lake Formation demokratisiert den Data Lake und schafft einen Beschleunigungspunkt für die Unternehmensdatenstrategie", sagte Kevin Davis, CTO von AWS Practice, Cloudreach. "AWS Lake Formation zentralisiert die Sicherheit und Verwaltung von Diensten, rationalisiert das Management und reduziert den Betriebsaufwand. Durch die Beschleunigung der unternehmensweiten Freigabe von Daten können andere Dateninitiativen wie Machine Learning den Unternehmenswert steigern.“

Amgen-logo

Amgen ist das weltweit größte unabhängige Biotechnologieunternehmen.

"Bei Amgen nutzen wir seit über drei Jahren Amazon Redshift- und Amazon EMR-Cluster. Das Einrichten von Sicherheits- und Zugriffskontrollen für jedes AWS-Konto, jeden AWS-Service, jeden AWS-Benutzer und jeden AWS-Datensatz auf der erforderlichen Detailebene kann mühsam sein“, sagte Kerby Johnson, Product Owner von Enterprise Data Lake, Amgen. "AWS Lake Formation rationalisiert den Prozess mit einem zentralen Kontrollpunkt und ermöglicht es uns gleichzeitig, detaillierter zu verwalten, wer unsere Daten wie verwendet. Mit AWS Lake Formation können wir Berechtigungen für Amazon S3-Objekte wie Berechtigungen für Daten in einer Datenbank verwalten. Unsere Benutzer können die benötigten Daten mit den von ihnen bevorzugten Tools finden, darauf zugreifen und analysieren. Mit diesem neuen Workflow können alle Mitarbeiter produktiver arbeiten, wenn sie Amgens Daten verwenden.“

Alcon-logo

Alcon ist führend in der Innovation und Entwicklung von Produkten für lebensverändernde Sehkraft und Augenpflege.

"Wie viele andere Unternehmen haben wir unsere Data Lake-Initiative gestartet, um nicht mehr auf zugreifbare Datensilos zuzugreifen", sagte Srinivas Ravilisetty, IT Analytics Lead bei Alcon. "Mit AWS Lake Formation können wir schnell auf vorhandene Amazon S3-Buckets zugreifen und definieren, was darin enthalten ist und wie es verwendet werden kann. Die Daten bleiben in S3 erhalten, wir haben jedoch die volle Kontrolle über sie für andere Zwecke.“

quantiphi-logo

Quantiphi ist ein Software- und Dienstleistungsunternehmen für künstliche Intelligenz und Big Data, das sich dem Wunsch verschrieben hat, komplexe geschäftliche Probleme zu lösen. Quantiphi hat sich darauf spezialisiert, Data Lakes und KI-Lösungen für Kunden zu bauen, um einen quantifizierbaren Wert zu liefern.

"Mit AWS Lake Formation können wir in wenigen Tagen einen sicheren Datensee mit Zugriff auf relevante Daten bereitstellen", sagte Arnav Gupta, AWS Practice Lead bei Quantiphi. "Wir haben jetzt die Möglichkeit, unseren Kunden das Beste aus beiden Welten zu bieten – volle Sicherheit sowie vereinfachten Zugriff auf relevante Daten, damit ihre Benutzer leicht Entscheidungen treffen können. Unsere Kunden können sich auf intelligentere, analyseorientierte Geschäftsentscheidungen konzentrieren, indem sie auf eine leistungsstarke, zentralisierte Datenquelle zurückgreifen.“

Product-Page_Standard-Icons_01_Product-Features_SqInk
Weitere Informationen zu den Merkmalen von AWS Lake Formation
Weitere Informationen 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Für einen Konto registrieren
Registrieren 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Beginnen Sie mit der Entwicklung in der Konsole
Anmeldung