Amazon Redshift ajoute la prise en charge de la création et de l’actualisation des vues matérialisées d’Apache Iceberg
Amazon Redshift prend désormais en charge la création et l’actualisation des vues matérialisées d’Apache Iceberg. Les vues matérialisées précalculent une fois les jointures et les agrégations coûteuses, et stockent les résultats dans une table Apache Iceberg dans des compartiments de tables Amazon S3 ou Amazon S3, enregistrés dans le catalogue de données AWS Glue. Les vues matérialisées sont créées à l’aide du code SQL habituel : CREATE MATERIALIZED VIEW ... USING ICEBERG, et les résultats sont instantanément consultables par n'importe quel moteur compatible avec Iceberg, y compris Amazon Athena, Apache Spark sur Amazon EMR et AWS Glue, et des moteurs tiers tels que Trino ou Snowflake. Redshift les tient à jour en recalculant uniquement ce qui a changé grâce à une actualisation incrémentielle manuelle. Comme les résultats sont des tables Iceberg du catalogue de données Glue, elles sont régies et découvertes comme n’importe quelle autre table du catalogue.
Les équipes chargées des données élaborent souvent des analyses par étapes, en assemblant différents moteurs pour nettoyer et transformer les données brutes avant de les diffuser. Cela augmente la charge d’orchestration du pipeline et peut introduire des différences sémantiques entre les moteurs. Les vues matérialisées d’Iceberg apportent de la valeur de deux manières. Tout d’abord, au lieu que des centaines d’utilisateurs et équipes réexécutent les mêmes jointures et agrégations coûteuses, et qu’ils analysent à nouveau les tables sources à chaque requête, vous calculez le résultat une fois et tout le monde lit le tableau précalculé. Ensuite, vous pouvez exécuter un pipeline de bout en bout à l’aide d’un seul moteur comme Apache Spark et maintenant Amazon Redshift, et chaque consommateur en aval partage le même résultat ouvert sans avoir à orchestrer plusieurs moteurs. Quoi qu’il en soit, la sortie est une table Iceberg ouverte que n’importe quel moteur peut lire sans copie ni conversion. Vous pouvez toujours charger ces tableaux dans Redshift Managed Storage (RMS) en tant que vues matérialisées RMS natives pour vos tableaux de bord les plus sensibles aux performances.
Vous pouvez créer des vues matérialisées Iceberg dans n’importe quelle région où les instances Redshift sans serveur et Graviton provisionnées sont prises en charge. Pour en savoir plus, consultez la section Vues matérialisées stockées sous forme de tables Apache Iceberg du Guide du développeur d’Amazon Redshift Database, la référence de commande CREATE MATERIALIZED VIEW et l’article de blog Materialize once, query anywhere.