AWS annonce la prise en charge des vecteurs de suppression et de la traçabilité des lignes d'Apache Iceberg V3
AWS prend désormais en charge les vecteurs de suppression et la traçabilité des lignes tels que définis dans la spécification de la version 3 (V3) d'Apache Iceberg. Ces nouvelles fonctionnalités sont disponibles avec Apache Spark sur Amazon EMR 7.12, AWS Glue, les blocs-notes Amazon SageMaker, les tableaux Amazon S3 et le catalogue de données AWS Glue.
Ces fonctionnalités d'Iceberg V3 aident les clients à créer des lacs de données à l'échelle du pétaoctet avec des performances améliorées pour les modifications des données et des fonctionnalités permettant de suivre facilement les enregistrements modifiés. Les vecteurs de suppression écrivent des fichiers de suppression optimisés qui accélèrent les pipelines de données et réduisent les coûts de compactage des données. La traçabilité des lignes fournit des champs de métadonnées sur chaque enregistrement pour suivre les modifications à l'aide d'une simple requête SQL, éliminant ainsi les dépenses de calcul liées à la recherche de petites modifications dans de grandes tables.
Commencez à créer des tableaux V3 en définissant la propriété de table sur « format-version = 3 » dans la commande CREATE TABLE de Spark ou d'un bloc-notes SageMaker. Pour mettre les tables existantes à niveau, mettez simplement à jour la propriété de la table dans les métadonnées avec la nouvelle version du format. En procédant ainsi, les moteurs de requêtes AWS qui prennent en charge la version 3 commenceront automatiquement à utiliser des vecteurs de suppression et un lignage de lignes.
Les vecteurs de suppression et la traçabilité des lignes Iceberg V3 sont désormais disponibles dans toutes les régions AWS où chaque service/fonctionnalité (Amazon EMR, AWS Glue, blocs-notes SageMaker, Tables S3 et AWS Glue Catalog) est pris en charge. Pour en savoir plus sur la prise ne charge par AWS d'Iceberg V3, rendez-vous sur la page Apache Iceberg V3 sur AWS et consultez l'article de blog.