Amazon Data Firehose 支持将数据库更改持续复制到 Amazon S3 中的 Apache Iceberg 表

发布于: 2024年11月15日

Amazon Data Firehose 现在支持在 Amazon S3 中捕获和复制对 Apache Iceberg 表的数据库更改（预览版）。借助这项新功能，客户可以轻松地将来自 MySQL 和 PostgreSQL 数据库的实时数据直接流式传输到 Apache Iceberg 表中。

Firehose 是一项完全托管的无服务器流媒体服务，客户能够使用该服务捕获、转换数据流并将其传输到 Amazon S3、Amazon Redshift、OpenSearch、Splunk、Snowflake 和其他目标位置以进行分析。借助此功能，Firehose 可以从选定的数据库表中执行初始完整的数据复制，然后持续流式传输变更数据捕获 (CDC) 更新，以反映 Apache Iceberg 表中的插入、更新和删除操作。这种简化的解决方案消除了复杂的数据管道设置，同时最大限度地减少了对数据库事务性能的影响。
关键功能包括：• 自动创建与源数据库架构相匹配的 Apache Iceberg 表 • 根据源代码更改自动演变架构 • 选择性复制特定的数据库、表和列

此预览功能已在除以下区域外的所有 AWS 区域推出：中国、AWS GovCloud（美国）和亚太地区（马来西亚）。如需了解条款和条件，请参阅 AWS 服务条款中的“Beta Service Participation”。

要开始使用，请访问 Amazon Data Firehose 文档和控制台。

要了解有关此功能的详情，请访问此 AWS Blog 文章。