Catalogo dati AWS Glue ora supporta l'ottimizzazione dell'archiviazione delle tabelle Apache Iceberg
Catalogo dati AWS Glue ora supporta l'ottimizzazione dello storage delle tabelle Apache Iceberg rimuovendo automaticamente i file di dati che non sono più necessari. Ogni scrittura su una tabella Iceberg crea un nuovo snapshot, o versione, di una tabella. Inoltre, qualsiasi errore durante la scrittura su tabelle Iceberg creerà file di dati a cui non viene fatto riferimento negli snapshot noti come file "orfani", il che aumenta ulteriormente i costi di archiviazione. Le nuove ottimizzazioni dello storage del catalogo AWS Glue e la compattazione automatizzata ti aiuteranno a ridurre il sovraccarico dei metadati, controllare i costi di storage e migliorare le prestazioni delle query.
Con questo lancio puoi abilitare l'ottimizzazione delle tabelle del catalogo AWS Glue per includere la gestione di snapshot e dati orfani. Puoi ottimizzare il layout di Amazon S3 fornendo una configurazione come il periodo di conservazione predefinito e i giorni di conservazione dei file orfani. Una volta abilitato, il catalogo AWS Glue monitora periodicamente le tabelle, rimuove gli snapshot dai metadati delle tabelle, rimuove i file di dati Amazon S3 e i file orfani che non sono più necessari. È possibile visualizzare la cronologia del numero di dati, manifesti, elenchi di manifesti e file orfani eliminati dalla scheda di ottimizzazione della tabella nella console del catalogo Glue.
Oltre alla console AWS, i clienti possono anche utilizzare l'interfaccia a riga di comando AWS o gli SDK AWS per abilitare l'ottimizzazione delle tabelle Apache Iceberg. L'ottimizzazione automatica per le tabelle Iceberg è disponibile in 13 regioni AWS: Stati Uniti orientali (Virginia settentrionale, Ohio), Stati Uniti occidentali (Oregon), Europa (Irlanda, Londra, Francoforte, Stoccolma), Asia Pacifico (Tokyo, Seoul, Mumbai, Singapore, Sydney), Sud America (San Paolo). Per saperne di più, leggi il blog e visita la documentazione del catalogo dati AWS Glue.