Aurora PostgreSQL 現在支援查詢 Apache Iceberg 和 Parquet 資料
從今天起,您可以使用現有的 PostgreSQL 應用程式和工具,直接查詢營運資料以及儲存在資料湖中、採用 Apache Iceberg 和 Parquet 格式的資料,無需擷取、轉換和載入 (ETL) 管道或複製資料。
應用程式越來越需要存取資料湖中的資料 (通常以 Apache Iceberg 和 Parquet 格式儲存),以做出更明智的決策並自動化業務流程。以往存取這些資料通常需要管道,將資料從您的資料湖複製到 Aurora,隨著結構演進,會推高成本和工程投入。有了這項推出功能,您可以建立 PostgreSQL 外部資料表,參考您在 Amazon S3、Amazon S3 Tables 或 AWS Glue Data Catalog 中的 Iceberg 或 Parquet 資料。當客戶查詢這些外部資料表時,Aurora 會使用內嵌於 PostgreSQL 的 DuckDB 高效能查詢引擎,對底層的 Iceberg 和 Parquet 資料執行查詢。您現有的應用程式和 BI 工具會繼續使用相同的 PostgreSQL 介面。
您也可以查詢來自外部 Iceberg REST Catalog (IRC) 相容型錄的資料表,這些型錄透過 AWS Glue Data Catalog 聯合,無需移動或複製資料。對於延遲敏感的工作負載,您可以使用標準 SQL 陳述式,將 Iceberg 或 Parquet 資料具體化為原生 Aurora PostgreSQL 資料表,無需 ETL 管道。
此功能已在所有 AWS 商業和 AWS GovCloud (美國) 區域的 Aurora PostgreSQL 17.11、18.6 及更高版本正式推出,且無須額外費用。若要開始使用,請使用 Amazon RDS 主控台或任何 PostgreSQL 用戶端。若要了解詳情,請參閱部落格文章或文件。