Amazon Data Firehose 支援持續複製資料庫變更到 Amazon S3 (預覽) 中的 Apache Iceberg 資料表

張貼日期: 2024年11月15日

Amazon Data Firehose 現在可以擷取和複製資料庫變更到 Amazon S3 (預覽) 中的 Apache Iceberg 資料表。這項新功能可讓客戶將 MySQL 和 PostgreSQL 資料庫的即時資料直接輕鬆串流到 Apache Iceberg 資料表中。

Firehose 是全受管、無伺服器串流服務，可讓客戶能夠藉取、轉換資料，並將資料串流傳遞至 Amazon S3、Amazon Redshift、OpenSearch、Splunk、Snowflake 和其他目的地以進行分析。Firehose 會透過此功能從所選資料庫表格執行初始完整資料副本，然後持續串流變更資料擷取 (CDC) 更新，以反映 Apache Iceberg 資料表中的插入、更新和刪除項目。此簡化的解決方案可消除複雜的資料管道設定，同時將對資料庫交易效能的影響降到最低。
主要功能包括：• 自動建立與來源資料庫結構描述相符的 Apache Iceberg 資料表 • 針對來源變更進行自動結構描述演進 • 選擇性複製特定資料庫、資料表和資料欄

除中國、AWS GovCloud (美國) 和亞太地區 (馬來西亞) 之外，此預覽功能適用於所有 AWS 區域。如需條款和條件，請參閱《AWS 服務條款》中的「測試服務參與」。

若要開始使用，請參閱 Amazon Data Firehose 文件和主控台。

若要進一步了解此功能，請參閱這篇 AWS 部落格文章。