Amazon EMR permet d'améliorer les fonctionnalités d'Apache Spark pour les tableaux Lake Formation avec un accès complet aux tableaux
Amazon EMR prend désormais en charge les opérations de lecture et d'écriture à partir des tâches Apache Spark sur les tableaux enregistrés d'AWS Lake Formation lorsque le rôle de la tâche dispose d'un accès complet aux tableaux. Cette fonctionnalité permet les opérations du langage de manipulation des données (DML), notamment les instructions CREATE (Créer), ALTER (Modifier), DELETE (Supprimer), UPDATE (Mettre à jour) et MERGE INTO (Fusionner) sur les tableaux Apache Hive et Iceberg depuis la même application Apache Spark.
Alors que le contrôle précis des accès (FGAC) de Lake Formation offre des contrôles de sécurité granulaires au niveau des lignes, des colonnes et des cellules, de nombreuses charges de travail ETL nécessitent simplement un accès complet aux tableaux. Cette nouvelle fonctionnalité permet à Apache Spark de lire et d'écrire directement des données lorsqu'un accès complet aux tableaux est accordé, supprimant ainsi les limitations FGAC, qui limitaient auparavant certaines opérations ETL. Vous pouvez désormais exploiter les fonctionnalités avancées de Spark, notamment les RDD, les bibliothèques personnalisées, les UDF et les images personnalisées (AMI pour EMR sur EC2, images personnalisées pour EMR sans serveur) avec les tableaux Lake Formation. En outre, les équipes chargées des données peuvent exécuter des applications Spark complexes et interactives via SageMaker Unified Studio en mode de compatibilité tout en respectant les limites de sécurité définies par Lake Formation au niveau des tableaux.
Cette fonctionnalité est disponible dans toutes les régions AWS où Amazon EMR et AWS Lake Formation sont pris en charge.
Pour en savoir plus sur cette fonctionnalité, consultez la section Accès non filtré à Lake Formation dans la documentation EMR sans serveur.