AWS Glue prend désormais en charge les vues matérialisées basées sur Apache Iceberg
AWS Glue prend désormais en charge les vues matérialisées, une nouvelle fonctionnalité qui permet aux équipes chargées des données de transformer plus facilement les données et d'accélérer les performances des requêtes. Les vues matérialisées sont des tables gérées du catalogue de données AWS Glue qui stockent les résultats de requêtes précalculés au format Apache Iceberg et les mettent automatiquement à jour en fonction de l'évolution des données sources. Cette fonctionnalité est conçue pour permettre aux ingénieurs des données ainsi qu'aux équipes d'analytique de transformer facilement les données en plusieurs étapes, des données brutes aux tableaux analytiques finaux, tout en réduisant les efforts d'ingénierie et les frais opérationnels.
Les clients peuvent désormais créer des vues matérialisées à l'aide de la syntaxe Spark SQL standard avec un calendrier d'actualisation des données. Le service gère automatiquement le calendrier d'actualisation, la détection des modifications, les mises à jour incrémentielles et la gestion de l'infrastructure informatique. Les moteurs Spark d'Amazon Athena, d'Amazon EMR et d'AWS Glue réécrivent intelligemment les requêtes pour utiliser ces vues matérialisées, multipliant par 8 les performances tout en réduisant les coûts de calcul. Vous pouvez utiliser des moteurs de requêtes SQL tels qu'Athena et Redshift pour accéder aux vues matérialisées sous forme de tables Iceberg à partir d'éditeurs SQL et de notebooks Amazon SageMaker.
Les vues matérialisées dans AWS Glue sont disponibles dans les régions Amérique du Sud (São Paulo), Asie-Pacifique (Hong Kong), Asie-Pacifique (Malaisie), Asie-Pacifique (Mumbai), Asie-Pacifique (Séoul), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Thaïlande), Asie-Pacifique (Tokyo), Canada (Centre), Europe (Espagne), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Europe (Stockholm), USA Est (Ohio), USA Est (Virginie du Nord), USA Ouest (Californie du Nord) et USA Ouest (Oregon). Pour en savoir plus, consultez la section Utilisation des vues matérialisées du Guide du développeur d'AWS Glue.