AWS Glue abilita funzionalità avanzate di Apache Spark per le tabelle AWS Lake Formation con accesso completo alle tabelle
AWS Glue ora supporta le operazioni di lettura e scrittura per i processi AWS Glue 5.0 Apache Spark sulle tabelle registrate in AWS Lake Formation, purché il ruolo del processo disponga di accesso completo alla tabella. Questa funzionalità consente operazioni DML (Data Manipulation Language, linguaggio di manipolazione dati) tra cui le istruzioni CREATE, ALTER, DELETE, UPDATE e MERGE INTO su tabelle Apache Hive e Iceberg all'interno della medesima applicazione Apache Spark.
Nonostante il controllo granulare degli accessi di Lake Formation fornisca controlli di sicurezza dettagliati a livello di riga, colonna e cella, numerosi carichi di lavoro ETL richiedono semplicemente l'accesso completo alle tabelle. Questa nuova funzionalità consente ai job Spark di AWS Glue 5.0 di leggere e scrivere direttamente i dati quando viene concesso l'accesso completo alla tabella, eliminando le limitazioni che in precedenza impedivano determinate operazioni di Estrazione, Trasformazione e Caricamento (ETL). È ora possibile sfruttare le funzionalità avanzate di Spark, incluse le Resilient Distributed Datasets (RDD), le librerie personalizzate e le User Defined Functions (UDF), con le tabelle di Lake Formation contenenti set di dati. Inoltre, i team di dati possono eseguire applicazioni Spark complesse e interattive tramite SageMaker Unified Studio in modalità di compatibilità, preservando i limiti di sicurezza a livello di tabella stabiliti da Lake Formation.
Questa funzionalità è disponibile in tutte le regioni AWS in cui sono supportati AWS Glue e AWS Lake Formation. Per maggiori informazioni vai alla pagina del prodotto di AWS Glue e consulta la relativa documentazione.