AWS Glue introduce la federazione dei cataloghi per i cataloghi remoti di Apache Iceberg
AWS Glue rende disponibile al pubblico la federazione dei cataloghi per i cataloghi Iceberg remoti. Questa funzionalità consente l'accesso diretto e sicuro alle tabelle Iceberg memorizzate in Amazon S3 e catalogate in cataloghi remoti mediante i motori di analisi AWS.
Grazie alla federazione dei cataloghi, puoi connettersi a cataloghi Iceberg remoti ed eseguire query sulle tabelle Iceberg remote mediante i motori di analisi AWS preferiti, senza dover spostare o duplicare le tabelle. Sincronizza i metadati in tempo reale tra il catalogo dati AWS Glue e i cataloghi remoti quando i team dati eseguono query sulle tabelle remote, il che significa che i risultati delle query sono sempre completamente aggiornati. È ora possibile ottimizzare il rapporto prezzo-prestazioni per i propri carichi di lavoro nell'analisi di tabelle Iceberg remote mediante i motori di analisi AWS preferiti, garantendo al contempo controlli di sicurezza uniformi nelle operazioni di scoperta ed esecuzione di query sui dati. La federazione dei cataloghi è supportata da un'ampia gamma di motori di analisi, tra cui Amazon Redshift, Amazon EMR, Amazon Athena, AWS Glue, motori di terze parti come Apache Spark e Amazon SageMaker con notebook serverless.
La federazione dei cataloghi utilizza AWS Lake Formation per il controllo degli accessi, consentendo di utilizzare controlli di accesso granulari, condivisione tra account e propagazione affidabile delle identità quando si condividono tabelle di catalogo remote con altri consumatori di dati. La federazione dei cataloghi si integra con le implementazioni di catalogo che supportano le specifiche REST di Iceberg.
La federazione dei cataloghi è disponibile nella console di Lake Formation e tramite gli SDK e le API di AWS Glue e Lake Formation. Questa funzionalità è disponibile al pubblico in tutte le regioni AWS commerciali in cui vengono forniti AWS Glue e Lake Formation. Con pochi clic nella console, puoi connetterti a cataloghi remoti, individuarne database e tabelle, assegnare le autorizzazioni di accesso ai dati delle tabelle ed eseguire query su tabelle Iceberg remote mediante i motori di analisi AWS. Per ulteriori informazioni, consulta la documentazione.