Amazon Redshift ora supporta le tabelle Apache Iceberg v3
Amazon Redshift ora supporta la lettura e la scrittura su tabelle Apache Iceberg v3 nel data lake. Apache Iceberg è un formato di tabella aperto e la versione v3 introduce nuove funzionalità. Con questa novità, Amazon Redshift supporta ora valori di colonna predefiniti, tracciabilità delle righe e deletion vector.
Grazie ai valori di colonna predefiniti, è possibile impostare un valore iniziale che Amazon Redshift applica quando non ne viene fornito uno, semplificando l'evoluzione dello schema quando si aggiungono nuove colonne a tabelle già esistenti. La tracciabilità delle righe espone pseudo-colonne che tracciano l'identità di ogni riga e il numero di sequenza dell'ultimo aggiornamento, permettendo di costruire pipeline incrementali e flussi di lavoro CDC (change data capture, acquisizione dei dati modificati) che elaborano esclusivamente le righe modificate. I deletion vector sostituiscono i file di eliminazione posizionale tipici di Iceberg v2 con bitmap compresse e compatte, garantendo letture e scritture più veloci per carichi di lavoro con aggiornamenti ed eliminazioni frequenti, come la rimozione di record richiesta da requisiti di conformità. È possibile creare una tabella v3 con CREATE TABLE <table> ... USING ICEBERG TABLE PROPERTIES ('format-version' = '3'), oppure eseguire l'upgrade in loco di una tabella v2 esistente con ALTER TABLE <table> SET TABLE PROPERTIES ('format-version' = '3').
I cluster con provisioning e serverless di Amazon Redshift basati su Graviton supportano il nuovo formato v3. Per saperne di più, consulta la funzionalità di Apache Iceberg v3 nella documentazione di Amazon Redshift.