Aurora PostgreSQL、Apache Iceberg データと Parquet データのクエリをサポート
本日より、既存の PostgreSQL のアプリケーションやツールを使用して、運用データと、データレイクに Apache Iceberg 形式と Parquet 形式で保存されているデータに対して、まとめて直接クエリを実行できるようになりました。抽出、変換、ロード (ETL) パイプラインを構築したり、データを複製したりする必要はありません。
より多くの情報に基づいて意思決定を行い、ビジネスプロセスを自動化するため、アプリケーションからデータレイクのデータにアクセスする必要性が高まっています。こうしたデータは多くの場合、Apache Iceberg 形式や Parquet 形式で保存されています。これまでは、このデータにアクセスするためにデータレイクから Aurora にデータをコピーするパイプラインが必要になることが多く、スキーマの進化に伴ってコストやエンジニアリング作業も増えていました。今回のリリースにより、Amazon S3、Amazon S3 Tables、AWS Glue データカタログにある Iceberg データまたは Parquet データを参照する PostgreSQL 外部テーブルを作成できるようになりました。作成した外部テーブルに対してクエリを実行すると、PostgreSQL に組み込まれた DuckDB の高性能クエリエンジンにより、基盤となる Iceberg データと Parquet データに対してクエリが実行されます。既存のアプリケーションや BI ツールでは、これまでと同じ PostgreSQL インターフェイスを引き続き使用できます。
また、AWS Glue データカタログを通じてフェデレーションされた外部の Iceberg REST Catalog (IRC) 互換カタログにあるテーブルに対しても、データを移動または複製することなくクエリを実行できます。レイテンシーの影響を受けやすいワークロードでは、ETL パイプラインを使用せず、標準の SQL ステートメントを使用して Iceberg データまたは Parquet データをネイティブの Aurora PostgreSQL テーブルにマテリアライズできます。
この機能は、Aurora PostgreSQL 17.11 以降および 18.6 以降で、すべての AWS 商用リージョンおよび AWS GovCloud (米国) リージョンにおいて一般提供されています。追加料金はかかりません。使用を開始するには、Amazon RDS コンソールまたは任意の PostgreSQL クライアントを使用してください。詳細については、ブログ記事またはドキュメントをご覧ください。