Amazon Kinesis Data Streams (KDS) 是一种可大规模扩展且持久的实时数据流服务。KDS 每秒可以从数十万个来源连续捕获数 GB 的数据,例如网站点击流、数据库事件流、金融交易、社交媒体信息流、IT 日志和位置跟踪事件。收集的数据以毫秒为单位,以实现实时分析用例,如实时仪表板、实时异常检测、动态定价等。
优势
实时性能
在收集视频的 70 毫秒内,将您的流数据提供给多个实时分析应用程序、Amazon S3 或 AWS Lambda。
持久
降低数据丢失的几率。在一个 AWS 区域中跨三个可用区同步复制您的流数据,存储该数据长达 365 天并提供多重保护,以防止数据丢失。
易于使用
使用 AWS 开发工具包、Kinesis 客户端库 (KCL)、连接器和代理快速构建您的流应用程序。通过与 AWS Lambda、Amazon Kinesis Data Analytics、Amazon Kinesis Data Firehose 和 AWS Glue Schema Registry 的内置集成轻松处理数据。
弹性
动态扩展您的应用程序。Kinesis 数据流可以从每小时数 MB 扩展到数 TB,并且 PUT 记录可以从每秒数千个扩展到数百万个。您可以随时根据您的输入数据量动态调节数据流的吞吐量。
成本低廉
Kinesis Data Streams 没有预付费用,您只需为您使用的资源付费。每小时只需 0.015 USD,您就可以拥有一个传入速度为 1MB/秒并且传出速度为 2MB/秒的 Kinesis 数据流。
工作原理

使用案例
日志和事件数据收集
Kinesis Data Streams 可用于从服务器、桌面和移动设备等来源收集日志和事件数据。然后,您可以构建 Kinesis 应用程序来持续处理数据、生成指标、为实时控制面板提供支持,并将聚合数据发送到 Amazon S3 等存储对象中。
实时分析
您可以让 Kinesis 应用程序对高频率事件数据(如 Kinesis Data Streams 收集的传感器数据)执行实时分析,从而使您能够以几分钟(而不是几小时或几天)的频率从您的数据中获得见解。
案例研究
博客文章
Scale Amazon Kinesis Data Streams with AWS Application Auto Scaling
Giorgio Nobile 和 Diego Natali,2018 年11 月 20 日
Tristan Li,2017 年 7 月 6 日