AWS introduce il supporto per i vettori di cancellazione e il lineage delle righe di Apache Iceberg V3
AWS supporta ora i vettori di cancellazione e il lineage delle righe secondo quanto definito nella specifica di Apache Iceberg versione 3 (V3). Queste nuove funzionalità sono disponibili con Apache Spark su Amazon EMR 7.12, AWS Glue, notebook Amazon SageMaker, Tabelle Amazon S3 e Catalogo dati AWS Glue.
Queste funzionalità di Iceberg V3 aiutano i clienti a creare data lake su scala di petabyte con prestazioni migliorate per le modifiche dei dati e capacità di tracciamento facilitato dei record modificati. I vettori di cancellazione generano file di cancellazione ottimizzati che velocizzano le pipeline di dati e riducono i costi di compattazione dei dati. Il lineage delle righe fornisce campi di metadati per ogni record per tracciare le modifiche tramite una semplice query SQL, eliminando il costo di calcolo necessario per individuare piccole modifiche in tabelle di grandi dimensioni.
Per iniziare a creare tabelle V3, imposta la proprietà della tabella su "format-version = 3" nel comando CREATE TABLE in Spark o in un notebook SageMaker. Per aggiornare le tabelle esistenti, è sufficiente aggiornare la proprietà della tabella nei metadati con la nuova versione del formato. In questo modo i motori di query AWS che supportano V3 inizieranno automaticamente a utilizzare i vettori di cancellazione e il lineage delle righe.
I vettori di cancellazione e il lineage delle righe di Iceberg V3 sono ora disponibili in tutte le regioni AWS in cui è supportato ciascun servizio o funzionalità: Amazon EMR, AWS Glue, notebook SageMaker, Tabelle S3 e Catalogo dati AWS Glue. Per saperne di più sul supporto AWS per Iceberg V3, consulta la sezione di Apache Iceberg V3 su AWS e il post del blog.