发布于: Sep 27, 2023
Amazon Kinesis Data Firehose 现已与 Amazon MSK 集成，以提供完全托管式解决方案，用于简化从 Amazon MSK Apache Kafka 集群到存储在 Amazon S3 上的数据湖中的流式处理数据的处理和传输。只需点击几下，Amazon MSK 客户就可以将所需的 Apache Kafka 集群中的数据持续加载到 Amazon S3 存储桶，而无需开发或运行自己的连接器应用程序。
Amazon MSK 是一项完全托管式 Apache Kafka 服务，可让您更轻松地构建并运行使用 Apache Kafka 作为数据存储的应用程序。Kinesis Data Firehose 是一项完全托管式服务，可持续捕获、转换流式处理数据并将其传输到数据湖、数据存储和分析服务。Kinesis Data Firehose 可自动扩展以匹配您的 Amazon MSK 数据的吞吐量，无需持续管理。Kinesis Data Firehose 还提供易于使用的功能，例如 JSON 到 Parquet/ORC 的格式转换，以及用于优化 S3 文件大小的批量聚合。这些功能简化了对已传输数据进行数据分析/处理的工作流。
要开始使用，您需要一个 AWS 账户。只要您拥有账户，就能在 Amazon Kinesis 控制台中创建交付流。要了解更多信息，请参阅 Amazon Kinesis Data Firehose 开发人员指南。
使用 Amazon Kinesis Data Firehose 从 Amazon MSK 到 Amazon S3 的传输功能可在所有推出 Amazon MSK 和 Kinesis Data Firehose 的商业区域和 AWS GovCloud（美国）区域使用。
自 2024 年 2 月 9 日起，Kinesis Data Firehose 现更名为 Amazon Data Firehose