Publié le: Jul 21, 2022
Nous avons le plaisir de lancer deux nouvelles fonctionnalités qui permettent d'appliquer les contrôles d'accès à l'aide d'Amazon EMR sur des clusters EC2 (clusters EMR). Ces fonctionnalités sont prises en charge avec des tâches soumises au cluster à l'aide de l'API EMR Steps. La première est Runtime Role avec EMR Steps. Un Runtime Role est un rôle AWS Identity and Access Management (IAM) que vous associez à une étape EMR. Une étape EMR utilise ce rôle pour accéder aux ressources AWS. La deuxième est l'intégration à AWS Lake Formation pour appliquer des contrôles d'accès au niveau des tables et des colonnes pour les tâches Apache Spark et Apache Hive avec EMR Steps.
Auparavant, toutes les tâches s'exécutant sur un cluster EMR utilisaient le rôle IAM associé aux instances EC2 du cluster EMR pour accéder aux ressources. Ce rôle est appelé profil d'instance EC2 EMR. Par exemple, si une tâche Spark ou Hive s'exécutant sur un même cluster doit accéder à différents compartiments S3, le profil d'instance doit alors accorder l'accès aux deux compartiments. Avec Runtime Role pour EMR Steps, vous indiquez un rôle IAM différent pour chaque tâche Spark et Hive, ce qui permet de réduire l'accès au niveau de la tâche. Cela vous simplifie les contrôles d'accès sur un seul cluster EMR partagé entre plusieurs locataires, ces derniers étant isolés à l'aide de rôles IAM.
De plus, vous pouvez utiliser AWS Lake Formation pour appliquer des autorisations au niveau des tables et des colonnes avec des tâches Apache Spark et Apache Hive envoyées sous forme d'étapes EMR. AWS Lake Formation est un service entièrement géré qui permet de créer, sécuriser et gérer plus facilement des lacs de données. AWS Lake Formation vous permet d'appliquer un contrôle d'accès plus précis aux données stockées dans des lacs de données grâce à un mécanisme simple d'acceptation ou de révocation, à l'image d'un système de gestion de base de données relationnelle (RDBMS). Ainsi, les autorisations au niveau des tables et des colonnes définies dans AWS Lake Formation pour un rôle IAM sont appliquées de manière transparente aux tâches Apache Hive et Apache Spark envoyées sous forme d'étapes EMR. Cela permet de simplifier davantage les contrôles d'accès et d'octroyer à chaque tâche l'accès à des bases de données, tables et colonnes spécifiques.
Ces deux fonctions sont disponibles dans la version 6.7 d'Amazon EMR. Pour plus de détails, veuillez consulter la disponibilité régionale d'Amazon EMR ainsi que les notes de mise à jour.