Amazon Redshift prend désormais en charge les tableaux Apache Iceberg v3
Amazon Redshift prend désormais en charge la lecture et l’écriture dans les tableaux Apache Iceberg v3 de votre lac de données. Apache Iceberg est un format de tableau ouvert, et sa version v3 ajoute plusieurs nouvelles caractéristiques. Avec ce lancement, Amazon Redshift introduit la prise en charge des valeurs de colonne par défaut, du lignage des lignes et des vecteurs de suppression.
Avec les valeurs de colonne par défaut, vous pouvez définir une valeur initiale qu’Amazon Redshift utilise lorsque aucune valeur n’est fournie, ce qui simplifie l’évolution du schéma lorsque vous ajoutez des colonnes à des tableaux existants. Le lignage des lignes expose des pseudo-colonnes qui suivent l’identité de chaque ligne et son dernier numéro de séquence mis à jour afin que vous puissiez créer des pipelines incrémentiels et des flux de travail CDC (capture des données de modification), qui traitent uniquement les lignes modifiées. Les vecteurs de suppression remplacent les fichiers de suppression positionnelle d’Iceberg v2 par des bitmaps compressés compacts, permettant des lectures et des écritures plus rapides pour les mises à jour à haute fréquence et les charges de travail de suppression telles que la suppression d’enregistrements basée sur la conformité. Vous pouvez créer un tableau v3 avec CREATE TABLE<table>... UTILISER LES PROPRIÉTÉS DU TABLEAU ICEBERG ('format-version' = '3') ou mettre à niveau un tableau v2 existant en place avec ALTER TABLE <table> SET TABLE PROPERTIES ('format-version' = '3').
Les clusters provisionnés et sans serveur basés sur Graviton d’Amazon Redshift prennent en charge le nouveau format v3. Pour en savoir plus, consultez la sur les fonctionnalités d’Apache Iceberg v3 dans la documentation Amazon Redshift.