Presentazione di AWS Glue 5.1
AWS Glue 5.1 è ora disponibile al pubblico e offre prestazioni migliorate, aggiornamenti di sicurezza, funzionalità Apache Iceberg estese e il supporto alle operazioni di scrittura di AWS Lake Formation per i carichi di lavoro di integrazione dei dati.
AWS Glue è un servizio di integrazione dei dati scalabile e serverless che semplifica la scoperta, la preparazione, lo spostamento e l'integrazione dei dati provenienti da più origini. Questa versione aggiorna i motori principali ad Apache Spark 3.5.6, Python 3.11 e Scala 2.12.18, apportando miglioramenti delle prestazioni e della sicurezza. Aggiorna anche il supporto per le librerie di formati a tabella aperta, tra cui Apache Hudi 1.0.2, Apache Iceberg 1.10.0 e Delta Lake 3.3.2.
AWS Glue 5.1 introduce il supporto per il formato Apache Iceberg versione 3.0, aggiungendo valori predefiniti per le colonne, vettori di eliminazione per la gestione delle tabelle merge-on-read (con fusione dei dati in fase di lettura, trasformazioni basate su più argomenti e tracciamento del lineage dei dati tra le righe. Inoltre, questa versione estende il controllo granulare degli accessi di AWS Lake Formation alle operazioni di scrittura (sia DML che DDL) per Spark DataFrames e Spark SQL. In precedenza questa funzionalità era limitata alle sole operazioni di lettura. AWS Glue 5.1 aggiunge anche il controllo completo degli accessi alle tabelle Apache Spark per Apache Hudi e Delta Lake, fornendo opzioni di sicurezza più complete per i dati.
AWS Glue 5.1 è disponibile nelle seguenti regioni: Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Stati Uniti occidentali (Oregon), Europa (Irlanda), Europa (Stoccolma), Europa (Francoforte), Europa (Spagna), Asia Pacifico (Hong Kong), Asia Pacifico (Singapore), Asia Pacifico (Sydney), Asia Pacifico (Tokyo), Asia Pacifico (Malesia), Asia Pacifico (Thailandia), Asia Pacifico (Mumbai) e Sud America (San Paolo). Consulta la documentazione di AWS Glue per maggiori informazioni.