Amazon Kinesis Data Firehose

准备实时数据流并将其加载到数据存储和分析服务中

Amazon Kinesis Data Firehose 是将流数据可靠地加载到数据湖、数据存储和分析服务中的最简单方式。该服务可以捕获和转换流数据并将其传输给 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、通用 HTTP 终端节点和服务提供商(如 Datadog、New Relic、MongoDB 和 Splunk)。这是一项完全托管的服务,会自动扩展以匹配数据吞吐量,并且无需持续管理。该服务还可以在加载数据前对其进行批处理、压缩、转换和加密,从而最大程度地减少所用存储量,同时提高安全性。

您可以从 AWS 管理控制台轻松创建 Firehose 传输流,通过单击几下鼠标对其进行配置,然后开始将流数据从数十万个数据源摄取到您指定的目标。您还可以配置数据流,以便自动将传入数据转换为基于标准的开放格式(如 Apache Parquet 和 Apache ORC),然后再传输这些数据。

使用 Amazon Kinesis Data Firehose,无最低消费和设置费用。您需要按通过该服务传输的数据量付费,并支付适用的数据格式转换费用以及 Amazon VPC 交付和数据传输费用。

申请概念验证或评估支持 »
什么是 Amazon Kinesis Data Firehose? (1:45)

优势

易于使用

使用 Amazon Kinesis Data Firehose,您只需在 AWS 管理控制台中单击几下鼠标,即可轻松捕获、转换和加载流数据。您可以快速创建 Firehose 传输流,选择目标,然后开始同时发送来自数十万个数据源的实时数据。该服务会处理按照您指定的间隔将数据持续加载到目标所需进行的数据流管理工作,包括所有扩展、分片和监控事宜。

已与 AWS 服务和服务提供商集成

Amazon Kinesis Data Firehose 已与 Amazon S3、Amazon Redshift 和 Amazon Elasticsearch Service 集成。该服务还可以将数据传输到通用 HTTP 终端节点,以及直接传输给服务提供商,如 DatadogNew RelicMongoDBSplunk。从 AWS 管理控制台,您可以将 Kinesis Data Firehose 指向您选择的目标,并使用现有的应用程序和工具来分析流数据。

无服务器数据转换

您可以通过 Amazon Kinesis Data Firehose 来准备流数据,然后再将其加载到数据存储中。使用 Kinesis Data Firehose,您可以轻松地将来自数据源的原始流数据转换为目标数据存储所需的格式(如 Apache Parquet 和 Apache ORC),无需构建自己的数据处理管道。了解更多 »

近乎实时

Amazon Kinesis Data Firehose 会近乎实时地捕获和加载数据,并在收到新数据后的 60 秒内将其加载到目标中。因此,您可以更快访问新数据,更加迅速地对业务和运营事件作出反应。

无需持续管理

Amazon Kinesis Data Firehose 是一项完全托管的服务,会自动预置、管理和扩展处理和加载流数据所需的计算、内存和网络资源。一旦设置,Kinesis Data Firehose 会在收到数据流时持续将其加载到目标中。

仅按实际用量付费

使用 Amazon Kinesis Data Firehose,您只需按通过该服务传输的数据量付费,并支付适用的数据格式转换费用。您还需要支付适用的 Amazon VPC 交付和数据传输费用。无最低消费和预付费用。

工作原理

Amazon Kinesis Data Firehose 工作原理

使用案例

Amazon Kinesis Data Firehose 是将流数据可靠地加载到数据湖、数据存储和分析工具的最简单方式。下面是我们的客户使用 Amazon Kinesis Data Firehose 解决的主要使用案例的示例。

IoT 分析

借助 Amazon Kinesis Data Firehose,您可以持续从消费类家电、嵌入式传感器和电视机顶盒等互联设备中捕获数据。Kinesis Data Firehose 会将数据加载到您指定的目标中,让您能够近乎实时地访问指标、见解和控制面板。

点击流分析

您可以使用 Amazon Kinesis Data Firehose 摄取实时点击流数据,使营销人员能够以最有效的方式与其客户联系。您可以对数十亿条已压缩、加密并传输到目标的简短消息进行流式处理。您可以聚合、筛选和处理数据,并近乎实时地刷新内容性能控制面板。

日志分析

您可以在应用程序错误发生时检测到它们,并通过收集、监控和分析日志数据来确定根本原因。您可以轻松地在服务器上安装和配置 Amazon Kinesis Agent,从而自动监控应用程序和服务器日志文件,并将数据发送到 Kinesis Data Firehose。Kinesis Data Firehose 会持续将日志数据流式处理到目标,以便您直观查看和分析数据。

安全监控

Kinesis Data Firehose 支持使用 Splunk 作为目标。这意味着您可以捕获网络流量流日志并将其发送到 Kinesis Data Firehose,然后,Kinesis Data Firehose 会转换、补充数据并将其加载到 Splunk。借助该解决方案,您可以实时监控网络安全,并在出现潜在威胁时发出警报。

案例研究

3Victors
3Victors 每天从全球最大的预订系统中摄取超过 10 亿条全球旅游搜索和 2300 亿个定价的行程。
查看案例分析 
Hearst
Hearst 每天流式传输来自其网站的超过 30TB 的点击流数据进行分析。
查看案例分析 
Comcast
Comcast 捕捉并分析客户偏好以提供丰富的娱乐体验。
查看案例分析 
Redfin
Redfin 构建了可靠的日志注入管道,改善了下游服务的 SLA。
查看案例分析 
Realtor.com
Realtor.com 对广告曝光数据进行流式处理,以此获得可行见解以增强广告效果。
查看案例分析 
Repp Health
Repp Health 使用 Amazon Kinesis 服务摄取和监控 IoT 流数据,并将其加载到 Amazon S3 数据湖中进行位置分析。
查看案例分析 

博客文章

日期
  • 日期
1

查看 Amazon Kinesis Data Firehose 的相关博客

Amazon Kinesis Data Firehose 入门

阅读开发人员指南
查看开发人员指南

查看开发人员指南以了解 Kinesis Data Firehose。

了解更多 
注册免费 AWS 账户
注册免费账户

立即享受 AWS 免费套餐。 

注册 
开始 Kinesis Data Firehose 教程
开始流式处理数据

借助本教程获得动手体验。

开始教程 

详细了解 Amazon Kinesis Data Firehose 的功能

访问功能页面
准备好开始使用了吗?
注册
还有更多问题?
联系我们