Aurora PostgreSQL ora supporta l'interrogazione dei dati Apache Iceberg e Parquet
A partire da oggi, puoi interrogare direttamente i dati operativi insieme a quelli archiviati nei data lake nei formati Apache Iceberg e Parquet utilizzando le tue applicazioni e i tuoi strumenti PostgreSQL esistenti, senza pipeline di estrazione, trasformazione e caricamento (ETL) o duplicazione dei dati.
Le applicazioni hanno sempre più bisogno di accedere ai dati provenienti dai data lake, spesso archiviati nei formati Apache Iceberg e Parquet, per prendere decisioni più informate e automatizzare i processi aziendali. In genere, per accedervi erano necessarie pipeline che copiavano i dati dal data lake in Aurora, aumentando i costi e il lavoro di progettazione con l'evoluzione degli schemi. Con questo lancio, puoi creare tabelle esterne PostgreSQL che fanno riferimento ai tuoi dati Iceberg o Parquet in Amazon S3, Amazon S3 Tables o Catalogo dati AWS Glue. Quando i clienti interrogano queste tabelle esterne, Aurora utilizza il motore di query ad alte prestazioni di DuckDB, incorporato in PostgreSQL, per eseguire la query sui dati Iceberg e Parquet sottostanti. Le applicazioni e gli strumenti di BI esistenti continuano a utilizzare la stessa interfaccia PostgreSQL.
Puoi anche interrogare tabelle da cataloghi esterni compatibili con Iceberg REST Catalog (IRC) federati tramite Catalogo dati AWS Glue, senza spostare o duplicare i dati. Per i carichi di lavoro sensibili alla latenza, puoi materializzare i dati Iceberg o Parquet in tabelle Aurora PostgreSQL native utilizzando istruzioni SQL standard, senza ricorrere a una pipeline ETL.
La funzionalità è generalmente disponibile su Aurora PostgreSQL a partire dalle versioni 17.11, 18.6 e successive in tutte le regioni commerciali AWS e GovCloud (Stati Uniti), senza costi aggiuntivi. Per iniziare, utilizza la console Amazon RDS o qualsiasi client PostgreSQL. Per ulteriori informazioni, consulta il post del blog o la documentazione.