Amazon Data Firehose prend en charge la réplication continue des modifications de base de données apportées aux tables Apache Iceberg dans Amazon S3
Amazon Data Firehose permet désormais de capturer et de répliquer les modifications apportées à la base de données dans les tables Apache Iceberg dans Amazon S3 (version préliminaire). Cette nouvelle fonctionnalité permet aux clients de diffuser facilement des données en temps réel provenant de bases de données MySQL et PostgreSQL directement dans les tables Apache Iceberg.
Firehose est un service de streaming sans serveur entièrement géré, qui permet aux clients de capturer, de transformer et de diffuser des flux de données vers Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake et d'autres destinations à des fins d'analyse. Grâce à cette fonctionnalité, Firehose effectue une première copie complète des données à partir de tables de base de données sélectionnées, puis diffuse en continu les mises à jour apportées à la saisie des données de modification (CDC) pour refléter les insertions, les mises à jour et les suppressions dans les tables Apache Iceberg. Cette solution rationalisée élimine les configurations complexes du pipeline de données tout en minimisant l'impact sur les performances des transactions de base de données.
Les principales fonctionnalités incluent : • Création automatique de tables Apache Iceberg correspondant aux schémas de base de données source • Évolution automatique des schémas en réponse aux modifications apportées à la source • Réplication sélective de bases de données, de tables et de colonnes spécifiques
Cette fonctionnalité d'aperçu est disponible dans toutes les régions AWS à l'exception de la Chine, d'AWS GovCloud (US) et des régions Asie-Pacifique (Malaisie). Pour connaître les conditions générales, consultez la section Participation au service Bêta dans Conditions d’utilisation AWS.
Pour commencer, consultez la documentation et la console Amazon Data Firehose.
Pour en savoir plus sur cette fonctionnalité, consultez cet article de blog AWS.