Amazon Data Firehose 可以将数据流传输到 Amazon S3 中的 Apache Iceberg 格式表

发布于: 2024年10月1日

Amazon Data Firehose (Firehose) 现在可以将数据流传输到 Amazon S3 中的 Apache Iceberg 表。

使用 Firehose，客户能够获取、转换数据流，并将其传输到 Amazon S3、Amazon Redshift、OpenSearch、Splunk、Snowflake 和其他目的地以进行分析。借助这项新功能，Firehose 可与 Apache Iceberg 集成，从而使客户能够将数据流直接传输到其 Amazon S3 数据湖中的 Apache Iceberg 表。Firehose 既可以从 Kinesis Data Streams、Amazon MSK 或 Direct PUT API 获取数据流，也可以通过集成从 AWS 服务（例如 AWS WAF Web ACL Logs、Amazon CloudWatch Logs、Amazon VPC Flow Logs、AWS IOT、Amazon SNS、AWS API Gateway Access Logs）以及此处列出的许多其他服务中获取流。客户可以将上述任意来源的数据直接流式传输到 Amazon S3 中的 Apache Iceberg 表，而无需执行多步流程。Firehose 是无服务器的，因此客户只需配置源和目标属性即可设置流，并根据处理的字节数付费。

此外，利用这项新功能，客户可以根据传入记录的内容将数据流中的记录路由到不同的 Apache Iceberg 表。要将记录路由到不同的表，客户可以使用 JSON 表达式配置路由规则。此外，客户还可以指定传入记录是否应在目标 Apache Iceberg 表中应用行级更新或删除操作，并自动处理数据更正和遗忘权场景。

要开始使用，请访问 Amazon Data Firehose 文档、定价和控制台。