Aurora PostgreSQL sekarang mendukung kueri data Apache Iceberg dan Parquet
Mulai hari ini, Anda dapat langsung melakukan kueri data operasional bersama dengan data yang tersimpan di danau data dalam format Apache Iceberg dan Parquet menggunakan aplikasi dan alat PostgreSQL yang sudah ada, tanpa pipeline extract, transform, and load (ETL) atau duplikasi data.
Aplikasi semakin membutuhkan akses ke data dari danau data, yang sering disimpan dalam format Apache Iceberg dan Parquet, untuk membuat keputusan yang lebih tepat dan mengotomatiskan proses bisnis. Mengaksesnya biasanya memerlukan pipeline yang menyalin data dari danau data Anda ke Aurora, sehingga meningkatkan biaya dan beban kerja rekayasa seiring dengan berkembangnya skema. Dengan peluncuran ini, Anda dapat membuat tabel eksternal PostgreSQL yang merujuk pada data Iceberg atau Parquet Anda di Amazon S3, Tabel Amazon S3, atau Katalog Data AWS Glue. Saat pelanggan melakukan kueri pada tabel eksternal ini, Aurora menggunakan mesin kueri berkinerja tinggi DuckDB, yang tertanam dalam PostgreSQL, untuk mengeksekusi kueri terhadap data Iceberg dan Parquet yang mendasarinya. Aplikasi dan tool BI Anda yang sudah ada tetap menggunakan antarmuka PostgreSQL yang sama.
Anda juga dapat melakukan kueri tabel dari katalog eksternal yang kompatibel dengan Iceberg REST Catalog (IRC) yang difederasi melalui Katalog Data AWS Glue, tanpa memindahkan atau menduplikasi data. Untuk beban kerja yang sensitif terhadap latensi, Anda dapat mematerialisasi data Iceberg atau Parquet ke dalam tabel Aurora PostgreSQL native menggunakan pernyataan SQL standar, tanpa memerlukan pipeline ETL.
Fitur ini umumnya tersedia di Aurora PostgreSQL mulai versi 17.11, 18.6 dan yang lebih tinggi di semua Region AWS komersial dan GovCloud (AS), tanpa biaya tambahan. Untuk memulai, gunakan konsol Amazon RDS atau klien PostgreSQL apa pun. Untuk informasi lebih lanjut, lihat postingan blog atau dokumentasi.