发布于: Mar 23, 2020

从今天开始,您可以在 Amazon Kinesis Data Streams 中使用 UpdateShardCount API 将单个数据流扩展至 10,000 个分区。您可以使用 Amazon Kinesis Data Streams 捕获、存储和分析点击流、金融交流、社交媒体源等每个小时的万亿字节数据。UpdateShardCount API 使您能够快速扩展或收缩数据流的功能以处理数据卷中的变化,而不会中断应用程序的创建或使用。

一个 Kinesis 分区提供 1 MB/s 入口和 2 MB/s 出口的吞吐量。您可以通过添加更多分区来提高流吞吐量。之前,UpdateShardCount API 可以扩展至 500 个分区。今天的公告使您能够将您的流容量扩展至 10,000 个分区,提高了 20 倍。举个例子,如果您有 10 个分区提供 10 MB/s 吞吐量,那么您先前可扩展至 500 个分区以摄取 500 MB/s。现在,您可以通过单个 API 调用或在控制台中单击一下,扩展至 10,000 个分区或 10,000 MB/s 以响应流量增加。您随后可以在流量降低之后进行收缩。 

更新分区计数是一项异步操作。Kinesis Data Streams 可以对单个分区执行拆分和合并操作,以更新分区计数。您可以在扩展操作正在进行时,继续对流中的数据执行读取和写入操作。建议您使用 KPL 版本 0.14.0 或更高版本,并将 KCL 升级到 1.9 或更高版本,以便使用此功能。有关更多详细信息,请参考 API 参考文档

UpdateShardCount API 提高至 10,000 个分区适用于所有 AWS 区域