Publié le: Jan 20, 2022
Nous annonçons la prise en charge de l'utilisation d'Apache Spark SQL pour mettre à jour les tables Glue Data Catalog en utilisant l'intégration Amazon EMR avec AWS Lake Formation.
L'intégration Amazon EMR avec AWS Lake Formation vous permet de définir et d'appliquer des autorisations au niveau de la base de données, des tables et des colonnes lorsque les utilisateurs d'Apache Spark accèdent aux données dans Amazon S3 via le Glue Data Catalog. Auparavant, lorsque l’intégration AWS Lake Formation était activée, vous étiez limité et vous pouviez uniquement lire les données en utilisant des instructions Spark SQL telles que SHOW DATABASES et DESCRIBE TABLE. Vous pouvez maintenant également insérer des données ou mettre à jour les tables de Glue Data Catalog avec ces instructions : INSERT INTO, INSERT OVERWRITE et ALTER TABLE.
Cette fonction est activée sur Amazon EMR 5.34 dans les régions AWS suivantes : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Europe (Stockholm), Canada (Centre), Asie-Pacifique (Mumbai), Asie-Pacifique (Séoul), Asie-Pacifique (Singapour), Asie-Pacifique (Tokyo), Asie-Pacifique (Sydney) et Amérique du sud (São Paulo).
Pour démarrer, consultez Intégration d’Amazon EMR à AWS Lake Formation.