Publié le: Nov 28, 2022
Nous sommes heureux d'annoncer le lancement de la version 4.0 d'AWS Glue, une nouvelle version d'AWS Glue qui accélère les charges de travail d'intégration de données dans AWS. AWS Glue 4.0 met à niveau les moteurs Spark vers Apache Spark 3.3.0 et Python 3.10. Glue 4.0 offre aux clients les dernières versions de Spark et Python afin qu'ils puissent développer, exécuter et mettre à l'échelle leurs charges de travail d'intégration de données et obtenir des insights plus rapidement.
AWS Glue est un service évolutif d'intégration des données sans serveur qui facilite la découverte, la préparation, le déplacement et l'intégration des données depuis des sources multiples. AWS Glue 4.0 prend en charge les API Pandas intégrées ainsi que les formats Apache Hudi, Apache Iceberg et Delta Lake, ce qui vous offre davantage d'options pour analyser et stocker vos données. Il met à niveau les connecteurs pour les sources de bases de données natives AWS Glue, notamment RDS, MySQL et SQLServer, ce qui simplifie les connexions aux sources de bases de données courantes. AWS Glue 4.0 prend également en charge, en mode natif, le nouveau plug-in de stockage Cloud Shuffle pour Apache Spark, qui aide les clients à adapter leur utilisation du disque pendant l'exécution. Il permet l'exécution adaptative des requêtes, qui optimise dynamiquement vos requêtes pendant leur exécution. Enfin, AWS Glue 4.0 améliore l'expérience des développeurs en ajoutant plus de contexte aux messages d'erreur. Comme avec AWS Glue 3.0, les clients ne paient que pour les ressources qu'ils utilisent.
AWS Glue 4.0 est disponible de manière générale aujourd'hui dans toutes les régions AWS où AWS Glue est proposé, à l'exception des régions Chine et AWS GovCloud (US).
Pour en savoir plus, consultez notre documentation.