Aurora PostgreSQL prend désormais en charge l’interrogation des données Apache Iceberg et Parquet
À compter d’aujourd’hui, vous pouvez interroger directement les données opérationnelles ainsi que les données stockées dans des lacs de données aux formats Apache Iceberg et Parquet à l’aide de vos applications et outils PostgreSQL existants, sans pipelines d’Extraction, transformation et chargement (ETL) ni duplication de données.
Les applications ont de plus en plus besoin d’accéder aux données des lacs de données, souvent stockées aux formats Apache Iceberg et Parquet, pour prendre des décisions plus éclairées et automatiser les processus métier. Pour y accéder, il a généralement fallu des pipelines qui copient les données de votre lac de données vers Aurora, ce qui a entraîné une hausse des coûts et des travaux d’ingénierie au fur et à mesure de l’évolution des schémas. Ce lancement vous permet de créer des tableaux étrangers PostgreSQL qui font référence à vos données Iceberg ou Parquet dans Amazon S3, les tableaux Amazon S3 ou au Catalogue de données AWS Glue. Lorsque les clients interrogent ces tableaux étrangers, Aurora utilise le moteur de requête performant de DuckDB, intégré à PostgreSQL, pour exécuter la requête sur les données Iceberg et Parquet sous-jacentes. Vos applications et outils BI existants continuent d’utiliser la même interface PostgreSQL.
Vous pouvez également interroger des tableaux à partir de catalogues externes compatibles avec le Catalogue Iceberg REST (IRC), fédérés via AWS le Catalogue de données AWS Glue, sans déplacer ni dupliquer les données. Pour les charges de travail sensibles à la latence, vous pouvez matérialiser les données Iceberg ou Parquet dans des tableaux Aurora PostgreSQL natifs à l’aide d’instructions SQL standard, sans pipeline ETL.
Cette fonctionnalité est généralement disponible sur Aurora PostgreSQL à partir des versions 17.11, 18.6 et supérieures dans toutes les Régions AWS commerciales et GovCloud (US), sans frais supplémentaires. Pour commencer, utilisez la console Amazon RDS ou n’importe quel client PostgreSQL. Pour en savoir plus, consultez l’article de blog ou la documentation.