AWS Glue permet d'améliorer les fonctionnalités d'Apache Spark pour les tableaux AWS Lake Formation avec un accès complet aux tableaux
AWS Glue prend désormais en charge les opérations de lecture et d'écriture à partir des tâches AWS Glue 5.0 Apache Spark sur les tableaux enregistrés d'AWS Lake Formation lorsque le rôle de la tâche dispose d'un accès complet aux tableaux. Cette fonctionnalité permet les opérations du langage de manipulation des données (DML), notamment les instructions CREATE (Créer), ALTER (Modifier), DELETE (Supprimer), UPDATE (Mettre à jour) et MERGE INTO (Fusionner) sur les tableaux Apache Hive et Iceberg depuis la même application Apache Spark.
Alors que le contrôle précis des accès (FGAC) de Lake Formation offre des contrôles de sécurité granulaires au niveau des lignes, des colonnes et des cellules, de nombreuses charges de travail ETL nécessitent simplement un accès complet aux tableaux. Cette nouvelle fonctionnalité permet aux tâches AWS Glue 5.0 Spark de lire et d'écrire directement des données lorsqu'un accès complet au tableau est accordé, supprimant ainsi les limitations qui limitaient auparavant certaines opérations d'extraction, de transformation et de chargement (ETL). Vous pouvez désormais tirer parti des fonctionnalités avancées de Spark, notamment des jeux de données distribués résilients (RDD), des bibliothèques personnalisées et des fonctions définies par l'utilisateur (UDF) avec les tables Lake Formation. En outre, les équipes chargées des données peuvent exécuter des applications Spark complexes et interactives via SageMaker Unified Studio en mode de compatibilité tout en respectant les limites de sécurité définies par Lake Formation au niveau des tableaux.
Cette fonctionnalité est disponible dans toutes les régions AWS où AWS Glue et AWS Lake Formation sont pris en charge. Pour en savoir plus, consultez la page produit AWS Glue et la documentation.