Tag: 分析

一．介绍 Amazon Kinesis 是一种托管的弹性可扩展服务，能实时处理大规模的流数据。在该服务收集大数据记录流后，可用多种数据处理应用程序实时处理该数据流。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数 TB 数据，如网站点击流、财务交易、社交媒体源、IT 日志和定位追踪事件。Amazon Kinesis Streams 数据流的吞吐量每小时可从数 MB 扩展到数 TB，PUT 记录每秒钟可从数千次扩展到数百万。您可以随时根据您的输入数据量动态调节数据流的吞吐量。 AWS为旗下的服务提供了多种开发工具包，支持包括Java、PHP、Python、Ruby、浏览器端等语言或平台。对于Amazon Kinesis，我们除了使用上述的Stream API进行开发外，AWS还提供了Amazon Kinesis Client Library (KCL) 开发适用于 Amazon Kinesis Streams 的使用器应用程序。在本文当中，我们展示如何使用Javascript在浏览器端与Amazon Kinesis进行交互，包括把记录Put到Kinesis，和从Kinesis读取记录。 二．基本概念与限制 在阐述如何AWS Kinesis的Javascript交互方法前，我们有必要对Kinesis Stream当中的关键概念——“分片”和“数据记录”作初步的了解。 分片 分片Share是流中数据记录的唯一标识组。一个流由一个或多个分片组成，每个分片提供一个固定的容量单位。流的总容量是其分片容量的总和。每个分片对应提供 1 MB/s 的写入容量和 2 MB/s 的读取容量。需要注意的是，每个分片可支持最多1000条记录/s的写入，和5个事务/s的读取。用户需要根据上述的容量和数目的限制，为流添加足够多的分片数目，以满足自身需求。 数据记录 数据记录是存储在 Amazon Kinesis Stream中的数据单位。数据记录由序列号、分区键和数据 Blob 组成。 每个数据记录都有一个唯一的序列号。当应用程序对Amazon Kinesis Stream进行写入记录时，Streams将自动为其分配序列号。同一分区键的序列号通常会随时间变化增加；写入请求之间的时间段越长，序列号则越大。但需要注意的是，序列号不能用作相同流中的数据集的索引。用户如果需要在逻辑上分隔数据集，请使用分区键或为每个数据集创建单独的流。 分区键Partition Key用于按分片对流中的数据进行分组。Streams 服务使用与每条数据记录关联的分区键将属于流的数据记录分为多个分片，以便确定给定的数据记录所属的分片。分区键是最大长度限制为 […]