Veröffentlicht am: Oct 6, 2021
Wir kündigen die Unterstützung der Verwendung von Apache Spark SQL an, um Apache Hive Metadatentabellen zu aktualisieren, wenn Amazon EMR Integration mit Apache Ranger verwendet wird.
Letzten Januar haben wir eine Amazon EMR Integration für den Apache Ranger eingeführt. Dieses Feature erlaubt es, Datenbank-, Tabellen- und Spaltenniveauberechtigungen zu definieren und durchzuführen, wenn Apache Spark Anwender auf Daten in Amazon S3 über den Hive Metastore zugreifen. Vorher war man, wenn der Apache Ranger aktiviert war, darauf begrenzt, Daten mit Spark SQL Statements, wie DATENBANKEN ANZIEGEN UND TABELLE BESCHREIBEN zu lesen. Jetzt kann man Daten in die Apache Hive Metadatentabellen mit diesen Statements einfügen oder aktualisieren: EINFÜGEN IN, EINFÜGEN ÜBERSCHREIBEN UND TABELLE ÄNDERN.
Diese Funktion ist auf Amazon EMR 6.4 in den folgenden AWS-Regionen verfügbar: USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Afrika (Kapstadt), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Seoul), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Zentral), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Mailand), Europa (Paris), Europa (Stockholm), Naher Osten (Bahrain), Südamerika (Sao Paolo) und Südamerika (São Paulo).
Zum Einstieg empfehlen wir die folgende Ressourcenliste:·
AWS Big Data-Blog
- SparkSQL Datenmanipulation au Amazon EMR mit Apache Ranger erlauben
- Einführung der Amazon EMR Integration mit Apache Ranger
Amazon EMR Management Guide: