Aurora PostgreSQL теперь поддерживает запросы к данным Apache Iceberg и Parquet
С сегодняшнего дня вы можете напрямую запрашивать операционные данные вместе с данными, хранящимися в озерах данных в форматах Apache Iceberg и Parquet, используя существующие приложения и инструменты PostgreSQL без конвейеров извлечения, преобразования и загрузки (ETL) или дублирования данных.
Для принятия более обоснованных решений и автоматизации бизнес-процессов приложениям все чаще требуется доступ к данным из озер данных, часто хранящихся в форматах Apache Iceberg и Parquet. Для доступа к ним обычно требуются конвейеры, копирующие данные из озера данных в Aurora, что приводит к увеличению затрат и инженерных работ по мере развития схем. Благодаря этому обновлению вы сможете создавать сторонние таблицы PostgreSQL со ссылками на ваши данные Iceberg или Parquet в Amazon S3, Таблицах Amazon S3 или Каталоге данных AWS Glue. Когда клиенты запрашивают эти сторонние таблицы, Aurora использует высокопроизводительный механизм запросов DuckDB, встроенный в PostgreSQL, для выполнения запроса к базовым данным Iceberg и Parquet. Существующие приложения и инструменты бизнес-аналитики продолжают использовать тот же интерфейс PostgreSQL.
Можно также запрашивать таблицы из внешних каталогов, совместимых с Iceberg REST Catalog (IRC), объединенных через Каталог данных AWS Glue, без перемещения или дублирования данных. Для рабочих нагрузок, чувствительных к задержкам, можно материализовать данные Iceberg или Parquet в собственные таблицы Aurora PostgreSQL с помощью стандартных инструкций SQL без конвейера ETL.
Эта возможность общедоступна в Aurora PostgreSQL начиная с версий 17.11, 18.6 и более поздних версий во всех коммерческих регионах AWS и GovCloud (США) без дополнительной оплаты. Для начала работы используйте консоль Amazon RDS или любой клиент PostgreSQL. Дополнительные сведения см. в публикации в блоге или документации.