Amazon Data Firehose 支持将数据传送到 Apache Iceberg 表的功能在其他 AWS 区域推出

发布于: 2024年11月6日

Amazon Data Firehose 支持将数据流传送到 Amazon S3 中的 Apache Iceberg 表的功能在 AWS 中国、AWS GovCloud 和 ap-southeast-5 区域除外的所有 AWS 区域推出。

借助这项功能，Firehose 可与 Apache Iceberg 集成，从而使客户能够将数据流直接传输到其 Amazon S3 数据湖中的 Apache Iceberg 表。Firehose 既可以从 Kinesis Data Streams、Amazon MSK 或 Direct PUT API 获取数据流，也可以通过集成从 AWS 服务（例如 AWS WAF Web ACL Logs、Amazon CloudWatch Logs、Amazon VPC Flow Logs、AWS IOT、Amazon SNS、AWS API Gateway Access Logs）以及此处列出的许多其他服务中获取流。客户可以将上述任意来源的数据直接流式传输到 Amazon S3 中的 Apache Iceberg 表，而无需执行多步流程。Firehose 是无服务器的，因此客户只需配置源和目标属性即可设置流，并根据处理的字节数付费。

此外，利用这项新功能，客户可以根据传入记录的内容将数据流中的记录路由到不同的 Apache Iceberg 表。要将记录路由到不同的表，客户可以使用 JSON 表达式配置路由规则。此外，客户还可以指定传入记录是否应在目标 Apache Iceberg 表中应用行级更新或删除操作，并自动处理数据更正和遗忘权场景。

要了解更多信息并开始使用，请访问 Amazon Data Firehose 文档、定价和控制台。