Aurora PostgreSQL unterstützt jetzt die Abfrage von Apache Iceberg- und Parquet-Daten
Ab heute können Sie Betriebsdaten zusammen mit Daten, die in Data Lakes in den Formaten Apache Iceberg und Parquet gespeichert sind, direkt mit Ihren vorhandenen PostgreSQL-Anwendungen und -Tools abfragen, ohne Extract, Transform, Load (ETL)-Pipelines oder Datenduplizierung.
Anwendungen benötigen zunehmend Zugriff auf Daten aus Data Lakes, die oft in den Formaten Apache Iceberg und Parquet gespeichert sind, um fundiertere Entscheidungen treffen und Geschäftsprozesse automatisieren zu können. Um darauf zuzugreifen, waren in der Regel Pipelines erforderlich, die Daten aus Ihrem Data Lake nach Aurora kopieren, was die Kosten und den technischen Aufwand in die Höhe treibt, während sich die Schemata weiterentwickeln. Mit dieser Einführung können Sie PostgreSQL-Fremdtabellen erstellen, die auf Ihre Iceberg- oder Parquet-Daten in Amazon S3, Amazon S3 Tables oder AWS-Glue-Datenkatalog verweisen. Wenn Kunden diese Fremdtabellen abfragen, verwendet Aurora die leistungsstarke Abfrage-Engine von DuckDB, die in PostgreSQL eingebettet ist, um die Abfrage anhand der zugrunde liegenden Iceberg- und Parquet-Daten auszuführen. Ihre vorhandenen Anwendungen und BI-Tools verwenden weiterhin dieselbe PostgreSQL-Schnittstelle.
Sie können auch Tabellen aus externen Iceberg REST Catalog (IRC)-kompatiblen Katalogen abfragen, die über den AWS-Glue-Datenkatalog verbunden sind, ohne Daten zu verschieben oder zu duplizieren. Für latenzempfindliche Workloads können Sie Iceberg- oder Parquet-Daten mithilfe von Standard-SQL-Anweisungen ohne ETL-Pipeline in native Aurora PostgreSQL-Tabellen materialisieren.
Die Funktion ist in Aurora PostgreSQL ab 17.11, 18.6 und höher in allen kommerziellen AWS-Regionen und GovCloud (USA)-Regionen ohne zusätzliche Kosten allgemein verfügbar. Verwenden Sie zunächst die Amazon RDS-Konsole oder einen beliebigen PostgreSQL-Client. Weitere Informationen finden Sie im Blogbeitrag oder in der Dokumentation.