Aurora PostgreSQL ahora admite la consulta de datos de Apache, Iceberg y Parquet
A partir de hoy, puede consultar directamente los datos operativos junto con los datos almacenados en lagos de datos en los formatos Apache Iceberg y Parquet utilizando las aplicaciones y herramientas de PostgreSQL existentes, sin necesidad de duplicar datos ni canalizaciones de extracción, transformación y carga (ETL).
Las aplicaciones necesitan cada vez más acceso a los datos de los lagos de datos, a menudo almacenados en formatos Apache Iceberg y Parquet, para tomar decisiones más informadas y automatizar los procesos empresariales. Por lo general, el acceso a él ha requerido canalizaciones que copian los datos de su lago de datos a Aurora, lo que aumenta los costos y el trabajo de ingeniería a medida que evolucionan los esquemas. Con este lanzamiento, puede crear tablas externas de PostgreSQL que hagan referencia a sus datos de Iceberg o Parquet en Amazon S3, Amazon S3 Tables o el catálogo de datos de AWS Glue. Cuando los clientes consultan estas tablas externas, Aurora usa el motor de consultas de alto rendimiento de DuckDB, integrado en PostgreSQL, para ejecutar la consulta en los datos subyacentes de Iceberg y Parquet. Sus aplicaciones y herramientas de BI actuales siguen utilizando la misma interfaz de PostgreSQL.
También puede consultar tablas de catálogos externos compatibles con el catálogo REST de Iceberg (IRC) federados a través del catálogo de datos de AWS Glue, sin mover ni duplicar datos. Para las cargas de trabajo sensibles a la latencia, puede materializar los datos de Iceberg o Parquet en tablas nativas de Aurora PostgreSQL mediante sentencias SQL estándar, sin una canalización de ETL.
La capacidad está disponible de forma general en Aurora PostgreSQL a partir de las versiones 17.11, 18.6 y posteriores en todas las regiones comerciales y de GovCloud (EE. UU.) de AWS, sin costo adicional. Para empezar, utilice la consola de Amazon RDS o cualquier cliente de PostgreSQL. Para obtener más información, consulte la publicación del blog o la documentación.