Amazon Kinesis Data Firehose 是将流数据可靠地加载到数据湖、数据存储和分析服务中的最简单方式。该服务可以捕获和转换流数据并将其传输给 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、通用 HTTP 终端节点和服务提供商(如 Datadog、New Relic、MongoDB 和 Splunk)。这是一项完全托管的服务,会自动扩展以匹配数据吞吐量,并且无需持续管理。该服务还可以在加载数据前对其进行批处理、压缩、转换和加密,从而最大程度地减少所用存储量,同时提高安全性。
您可以从 AWS 管理控制台轻松创建 Firehose 传输流,通过单击几下鼠标对其进行配置,然后开始将流数据从数十万个数据源摄取到您指定的目标。您还可以配置数据流,以便自动将传入数据转换为基于标准的开放格式(如 Apache Parquet 和 Apache ORC),然后再传输这些数据。
使用 Amazon Kinesis Data Firehose,无最低消费和设置费用。您需要按通过该服务传输的数据量付费,并支付适用的数据格式转换费用以及 Amazon VPC 交付和数据传输费用。
优势
易于使用
使用 Amazon Kinesis Data Firehose,您只需在 AWS 管理控制台中单击几下鼠标,即可轻松捕获、转换和加载流数据。您可以快速创建 Firehose 传输流,选择目标,然后开始同时发送来自数十万个数据源的实时数据。该服务会处理按照您指定的间隔将数据持续加载到目标所需进行的数据流管理工作,包括所有扩展、分片和监控事宜。
已与 AWS 服务和服务提供商集成
无服务器数据转换
您可以通过 Amazon Kinesis Data Firehose 来准备流数据,然后再将其加载到数据存储中。使用 Kinesis Data Firehose,您可以轻松地将来自数据源的原始流数据转换为目标数据存储所需的格式(如 Apache Parquet 和 Apache ORC),无需构建自己的数据处理管道。了解更多 »
近乎实时
Amazon Kinesis Data Firehose 会近乎实时地捕获和加载数据,并在收到新数据后的 60 秒内将其加载到目标中。因此,您可以更快访问新数据,更加迅速地对业务和运营事件作出反应。
无需持续管理
Amazon Kinesis Data Firehose 是一项完全托管的服务,会自动预置、管理和扩展处理和加载流数据所需的计算、内存和网络资源。一旦设置,Kinesis Data Firehose 会在收到数据流时持续将其加载到目标中。
仅按实际用量付费
使用 Amazon Kinesis Data Firehose,您只需按通过该服务传输的数据量付费,并支付适用的数据格式转换费用。您还需要支付适用的 Amazon VPC 交付和数据传输费用。无最低消费和预付费用。
工作原理

使用案例
Amazon Kinesis Data Firehose 是将流数据可靠地加载到数据湖、数据存储和分析工具的最简单方式。下面是我们的客户使用 Amazon Kinesis Data Firehose 解决的主要使用案例的示例。
IoT 分析
借助 Amazon Kinesis Data Firehose,您可以持续从消费类家电、嵌入式传感器和电视机顶盒等互联设备中捕获数据。Kinesis Data Firehose 会将数据加载到您指定的目标中,让您能够近乎实时地访问指标、见解和控制面板。
点击流分析
您可以使用 Amazon Kinesis Data Firehose 摄取实时点击流数据,使营销人员能够以最有效的方式与其客户联系。您可以对数十亿条已压缩、加密并传输到目标的简短消息进行流式处理。您可以聚合、筛选和处理数据,并近乎实时地刷新内容性能控制面板。
日志分析
您可以在应用程序错误发生时检测到它们,并通过收集、监控和分析日志数据来确定根本原因。您可以轻松地在服务器上安装和配置 Amazon Kinesis Agent,从而自动监控应用程序和服务器日志文件,并将数据发送到 Kinesis Data Firehose。Kinesis Data Firehose 会持续将日志数据流式处理到目标,以便您直观查看和分析数据。
安全监控
Kinesis Data Firehose 支持使用 Splunk 作为目标。这意味着您可以捕获网络流量流日志并将其发送到 Kinesis Data Firehose,然后,Kinesis Data Firehose 会转换、补充数据并将其加载到 Splunk。借助该解决方案,您可以实时监控网络安全,并在出现潜在威胁时发出警报。