Veröffentlicht am: Mar 14, 2023
Amazon EMR hat eine neue Funktion angekündigt, mit der Benutzer auf AWS Lake Formation basierende Berechtigungen auf Tabellen- und Spaltenebene auf Amazon S3 Data Lake für Schreibvorgänge (d. h. INSERT INTO, INSERT OVERWRITE) mit Apache Hive-Aufträgen anwenden können, die über die Amazon-EMR-Steps-API übermittelt werden. Mit dieser Funktion können Datenadministratoren die Sicherheit auf Tabellen- und Spaltenebene für Kunden genau definieren und durchsetzen, die über Apache Hive, das auf Amazon EMR ausgeführt wird, auf Daten zugreifen.
Die Amazon-EMR-Integration mit AWS Lake Formation ermöglicht Ihnen die Definition und Durchsetzung von Berechtigungen auf Datenbank-, Tabellen- und Spaltenebene mit Open-Source-Datenverarbeitungs-Engines wie Apache Spark und Apache Hive, die auf Amazon EMR ausgeführt werden. Vor dieser Version konnten Datenadministratoren auf Lake Formation basierende Berechtigungen für Datenbanken, Tabellen und Spalten für reine Lese-Workloads mit Apache Hive auf EMR definieren und durchsetzen. Mit der aktuellen Version können Sie mit Hive jetzt in Lake Formation-fähige Tabellen schreiben oder diese ändern. Das bedeutet, dass Sie auf Lake Formation basierende Berechtigungen auf Datenbank-, Tabellen- und Spaltenebene durchsetzen können, wenn Ihre Kunden INSERT INTO-, INSERT OVERWRITE- und ALTER TABLE-Abfragen durchführen. Um auf Lake Formation basierende Berechtigungen zu verwenden, müssen Kunden Glue Data Catalog als Metaspeicher verwenden.
Diese Funktion ist mit Amazon EMR Version 6.10 für Amazon EMR auf EC2-Clustern in allen Regionen verfügbar, in denen Amazon EMR verfügbar ist. Informationen zu den ersten Schritten finden Sie im Abschnitt Amazon EMR mit AWS Lake Formation integrieren in der Amazon EMR-Dokumentation.