Amazon Kinesis Data Firehose 是将流数据加载到数据存储和分析工具的最简单方式。Kinesis Data Firehose 是一项完全托管的服务,让您可以轻松地从数十万个来源捕获、转换大量流数据并将其加载到 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Kinesis Data Analytics 和 Splunk 中,从而实现近乎实时的分析与见解。

Kinesis 数据交付流

Kinesis 数据交付流是 Kinesis Data Firehose 的基础实体。您通过创建 Kinesis 数据交付流然后向其发送数据的方式来使用 Kinesis Data Firehose。

主要功能

轻松启动和配置

您只需在 AWS 管理控制台中单击几下,即可启动 Amazon Kinesis Data Firehose 并创建交付流,从而将数据加载到 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service 或 Splunk 中。您可以通过调用 Firehose API 或运行我们在数据源上提供的 Linux 代理将数据发送给交付流。之后,Kinesis Data Firehose 会持续不断地将数据加载到 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service 和 Splunk 中。

以近乎实时的方式加载新数据

您可以指定批处理大小或批处理间隔,以控制数据上传到目的地的速度。例如,如果您想要在将新数据发送到传输流的 60 秒内接收新数据,则可以将批处理间隔设置为 60 秒。此外,您可以指定是否压缩数据。此服务支持常见的压缩算法,包括 GZip 和 Snappy。在上传数据前先对其进行批处理和压缩,以便您控制在目的地接收新数据的速度。

弹性扩展以处理各种不同的数据吞吐量

启动后,您的传输流将自动向上和向下扩展,按每秒数 GB 的速率或更高的输入数据速率进行处理,并在您为传输流指定的级别上维持数据延迟。无需人工干预或维护。

支持内置数据格式转换

Apache Parquet 和 Apache ORC 等列式数据格式适合用于通过 Amazon Athena、Amazon Redshift Spectrum、Amazon EMR 等服务和其他基于 Hadoop 的工具交付成本高效的存储和分析服务。在将数据存入 Amazon S3 之前,Amazon Kinesis Data Firehose 可以将传入数据的格式从 JSON 转换成 Parquet 或 ORC 格式,这样您就可以节省存储和分析成本。 了解更多 »

集成数据转换

您可以配置 Amazon Kinesis Data Firehose 以便准备流数据,然后再将其加载到数据存储中。只需从 AWS 管理控制台中的 Amazon Kinesis Data Firehose 传输流配置选项卡中选择一个 AWS Lambda 函数即可。Amazon Kinesis Data Firehose 会自动将该函数应用到每个输入数据记录,然后将转换后的数据加载到目标位置。Amazon Kinesis Data Firehose 可以提供预构建的 Lambda 蓝图,用于将 Apache 日志和系统日志等常用数据源转换为 JSON 格式和 CSV 格式。您可以原样使用预构建的蓝图,对其进行进一步自定义,或者编写自己的自定义函数。您也可以对 Amazon Kinesis Data Firehose 进行配置,使其自动重试失败的任务并备份原始流数据。了解更多 »

支持多个数据目标位置

Amazon Kinesis Data Firehose 当前支持将 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service 和 Splunk 作为目标。您可以将数据应加载到的目标位置指定为 Amazon S3 存储桶、Amazon Redshift 表、Amazon Elasticsearch 域或 Splunk 集群。

可选的自动加密

Amazon Kinesis Data Firehose 提供在将数据上传到目标位置后自动加密数据的选项。作为传输流配置的一部分,您可以指定 AWS Key Management System (KMS) 加密密钥。

性能监控指标

Amazon Kinesis Data Firehose 通过控制台以及 Amazon CloudWatch 显示数个指标,包括提交的数据量、上传到目的地的数据量、从来源传输到目的地的时间以及上传成功率。您可以使用这些指标监控传输流的运行状况,采取任何必要的操作(如修改目的地),并确保服务正在接收数据并将数据加载到目的地。

按需支付的定价

使用 Amazon Kinesis Data Firehose,您只需为通过该服务传输的数据量付费。无最低费用,无预先承诺。无需人工操作、扩展和维护基础设施或自定义应用程序来捕获和加载流数据。

了解有关 Amazon Kinesis Data Firehose 定价的更多信息

访问定价页面
准备好开始使用了吗?
注册
还有更多问题?
联系我们