O Aurora PostgreSQL agora oferece suporte à consulta de dados do Apache Iceberg e do Parquet
A partir de hoje, você pode consultar diretamente dados operacionais junto com dados armazenados em data lakes nos formatos Apache Iceberg e Parquet usando seus aplicativos e ferramentas existentes do PostgreSQL, sem pipelines de extração, transformação e carregamento (ETL) ou duplicação de dados.
Cada vez mais, os aplicativos precisam acessar dados de data lakes, geralmente armazenados nos formatos Apache Iceberg e Parquet, para tomar decisões mais informadas e automatizar processos de negócios. O acesso a ele normalmente exige canais que copiem dados do seu data lake para o Aurora, aumentando os custos e o trabalho de engenharia à medida que os esquemas evoluem. Com esse lançamento, você pode criar tabelas externas do PostgreSQL que referenciam seus dados do Iceberg ou do Parquet no Amazon S3, nas tabelas do Amazon S3 ou no catálogo de dados do AWS Glue. Quando os clientes consultam essas tabelas externas, o Aurora usa o mecanismo de consulta de alto desempenho do DuckDB, incorporado ao PostgreSQL, para executar a consulta com base nos dados subjacentes do Iceberg e do Parquet. Seus aplicativos e ferramentas de BI existentes continuam usando a mesma interface do PostgreSQL.
Você também pode consultar tabelas de catálogos externos compatíveis com o Iceberg REST Catalog (IRC) federados por meio do Catálogo de Dados do AWS Glue, sem mover ou duplicar dados. Para workloads sensíveis à latência, você pode materializar dados do Iceberg ou do Parquet em tabelas nativas do Aurora PostgreSQL usando instruções SQL padrão, sem um pipeline de ETL.
O recurso geralmente está disponível no Aurora PostgreSQL a partir de 17.11, 18.6 e superiores em todas as regiões comerciais da AWS e GovCloud (EUA), sem custo adicional. Para começar a usar, use o console do Amazon RDS ou qualquer cliente PostgreSQL. Para saber mais, consulte a publicação do blog e a documentação.