Publié le: Mar 14, 2023
Amazon EMR a le plaisir d'annoncer une nouvelle fonctionnalité qui permet aux utilisateurs d'appliquer des autorisations au niveau des tables et des colonnes basées sur AWS Lake Formation sur le lac de données Amazon S3 pour les opérations d'écriture (par exemple, INSERT INTO, INSERT OVERWRITE) avec les tâches Apache Hive soumises à l'aide de l'API Amazon EMR Steps. Cette fonctionnalité permet aux administrateurs de données de définir et d'appliquer une sécurité précise au niveau des tables et des colonnes pour les clients accédant aux données via Apache Hive exécuté sur Amazon EMR.
L'intégration d'Amazon EMR à AWS Lake Formation vous permet de définir et d'appliquer des autorisations au niveau des bases de données, des tables et des colonnes avec des moteurs de traitement de données open source tels qu'Apache Spark et Apache Hive exécutés sur Amazon EMR. Avant cette version, les administrateurs de données pouvaient définir et appliquer des autorisations basées sur Lake Formation sur les bases de données, les tables et les colonnes pour les charges de travail en lecture seule avec Apache Hive sur EMR. Dans la version actuelle, vous pouvez désormais utiliser Hive pour écrire ou modifier des tables compatibles avec Lake Formation. Cela signifie que vous pouvez appliquer des autorisations au niveau des bases de données, des tables et des colonnes basées sur Lake Formation lorsque vos clients exécutent des requêtes INSERT INTO, INSERT OVERWRITE et ALTER TABLE. Pour utiliser les autorisations basées sur Lake Formation, les clients doivent utiliser Glue Data Catalog comme métastore.
Cette fonctionnalité est disponible avec Amazon EMR version 6.10 pour Amazon EMR sur les clusters EC2 dans toutes les régions où Amazon EMR est disponible. Pour commencer, consultez la section Intégrer Amazon EMR à AWS Lake Formation dans la documentation Amazon EMR.