Présentation d'AWS Glue 5.1
AWS Glue 5.1 est désormais disponible pour tous, apportant des performances améliorées, des mises à jour de sécurité, des fonctionnalités Apache Iceberg étendues et la prise en charge de l'écriture par AWS Lake Formation pour les charges de travail d'intégration de données.
AWS Glue est un service d'intégration de données évolutif et sans serveur qui simplifie la découverte, la préparation, le déplacement et l'intégration de données provenant de sources multiples. Cette version met à niveau les moteurs principaux vers Apache Spark 3.5.6, Python 3.11 et Scala 2.12.18, améliorant ainsi les performances et la sécurité. Il met également à jour la prise en charge des bibliothèques au format de table ouverte, notamment Apache Hudi 1.0.2, Apache Iceberg 1.10.0 et Delta Lake 3.3.2.
AWS Glue 5.1 prend en charge le format Apache Iceberg version 3.0, en ajoutant des valeurs de colonne par défaut, des vecteurs de suppression pour les tables de fusion lors de la lecture, des transformations arguments à multiples et un suivi de la traçabilité des lignes. Cette version étend également le contrôle d'accès précis d'AWS Lake Formation aux opérations d'écriture (DML et DDL) pour Spark DataFrames et Spark SQL. Auparavant, cette fonctionnalité était limitée aux opérations de lecture uniquement. AWS Glue 5.1 ajoute également un contrôle d'accès complet aux tables dans Apache Spark pour les tables Apache Hudi et Delta Lake, apportant ainsi des options de sécurité plus complètes pour vos données.
AWS Glue 5.1 est disponible dans les régions USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), Amérique du Sud (São Paulo), Asie-Pacifique (Hong Kong), Asie-Pacifique (Malaisie), Asie-Pacifique (Mumbai), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Thaïlande), Asie-Pacifique (Tokyo), Europe (Espagne), Europe (Francfort), Europe (Irlande) et Europe (Stockholm). Consultez la documentation d'AWS Glue pour en savoir plus.