Publié le: Oct 6, 2021
Nous annonçons la prise en charge de l'utilisation d'Apache Spark SQL pour mettre à jour les tables de métadonnées Apache Hive en utilisant l'intégration Amazon EMR avec Apache Ranger.
En janvier de cette année, nous avons lancé l'intégration Amazon EMR avec Apache Ranger, une fonction qui vous permet de définir et d'appliquer des autorisations au niveau de la base de données, des tables et des colonnes lorsque les utilisateurs d'Apache Spark accèdent aux données dans Amazon S3 via le MetaStore Hive. Auparavant, lorsqu'Apache Ranger était activé, vous étiez limité et vous pouviez uniquement lire les données en utilisant des commandes Spark SQL telles que SHOW DATABASES et DESCRIBE TABLE. Vous pouvez maintenant également insérer des données ou mettre à jour les tables de métadonnées Apache Hive avec ces commandes : INSERT INTO, INSERT OVERWRITE et ALTER TABLE.
Cette fonctionnalité est activée sur Amazon EMR 6.4 dans les régions AWS suivantes : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), EU (Francfort), EU (Irlande), EU (Londres), EU (Paris), (Milan), EU (Stockholm), Canada (Centre), Asie-Pacifique (Mumbai), Asie-Pacifique (Séoul), Asie-Pacifique (Singapour), Asie-Pacifique (Hong Kong), Asie-Pacifique (Tokyo), Asie-Pacifique (Sydney), Amérique du Sud (São Paulo), Moyen-Orient (Bahreïn), Afrique (Le Cap).
Pour démarrer, consultez la liste des ressources suivante :·
Publication sur le Blog AWS consacré au Big Data :
- Autoriser la manipulation des données SparkSQL sur Amazon EMR à l'aide d'Apache Ranger
- Présentation de l'intégration d'Amazon EMR à Apache Ranger
Guide de gestion d'Amazon EMR :