概览
适用于 Amazon Kinesis 的串流数据解决方案提供了多种 AWS CloudFormation 模板，数据在模板中流经生成器、串流存储、使用者和目的地。为支持多种使用案例和业务需求，该解决方案提供了四种 CloudFormation 模板。与适用于 Amazon MSK 的流数据解决方案类似，这些模板已配置为应用最佳实践，从而可使用控制面板和告警来监控功能是否正常以及保护数据。
流数据必须由可大规模扩展，并且能够处理来自数据生成器的大量数据的存储持久捕获。生成器可以是成千上万个数据来源，每个数据来源持续生成流数据，通常同时以小规模（KB）提交记录。
流数据包括多种数据，例如客户使用移动或 Web 应用程序生成的日志文件、网购数据、游戏内玩家活动、社交网络信息、金融交易大厅或地理空间服务，以及来自数据中心内所连接设备或仪器的遥测数据。
优势
技术详情
-
选项 1
-
选项 2
-
选项 3
-
选项 4
-
选项 1
-
使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 模板
使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 模板
选项 1 – 使用 Amazon API Gateway、Kinesis Data Streams 和 AWS Lambda 的 AWS CloudFormation 模板
第 1 步
Amazon API Gateway REST API 充当 Amazon Kinesis Data Streams 的代理，添加单个数据记录或数据记录列表。第 3 步
Kinesis Data Streams 用于存储传入流数据。第 4 步
AWS Lambda 函数处理来自数据流的记录。第 5 步
AWS Lambda 处理过程中发生的错误和失败记录将添加注释，事件将存储在 Amazon Simple Queue Service（Amazon SQS）中。该队列为失败的批处理记录和 Lambda 错误存储元数据，使客户能够检索这些记录并确定解决这些记录的后续步骤。选项 1 – 使用 Amazon API Gateway、Kinesis Data Streams 和 AWS Lambda 的 AWS CloudFormation 模板
第 1 步
Amazon API Gateway REST API 充当 Amazon Kinesis Data Streams 的代理，添加单个数据记录或数据记录列表。第 3 步
Kinesis Data Streams 用于存储传入流数据。第 4 步
AWS Lambda 函数处理来自数据流的记录。第 5 步
AWS Lambda 处理过程中发生的错误和失败记录将添加注释，事件将存储在 Amazon Simple Queue Service（Amazon SQS）中。该队列为失败的批处理记录和 Lambda 错误存储元数据，使客户能够检索这些记录并确定解决这些记录的后续步骤。 -
选项 2
-
使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、适用于 Apache Flink 的亚马逊托管服务和 Amazon CloudWatch 的 AWS CloudFormation 模板
使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、适用于 Apache Flink 的亚马逊托管服务和 Amazon CloudWatch 的 AWS CloudFormation 模板
选项 2 – 使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、适用于 Apache Flink 的亚马逊托管服务和 Amazon CloudWatch 的 AWS CloudFormation 模板
第 1 步
Amazon Elastic Compute Cloud（Amazon EC2）实例使用 Amazon Kinesis Producer Library（KPL）生成数据。第 3 步
适用于 Apache Flink Studio 的亚马逊托管服务处理传入记录，并将处理过的数据保存到 Amazon Simple Storage Service（Amazon S3）存储桶。第 4 步
Amazon CloudWatch 控制面板会监控应用程序运行状况、进度、资源利用率、事件和错误。
选项 2 – 使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、适用于 Apache Flink 的亚马逊托管服务和 Amazon CloudWatch 的 AWS CloudFormation 模板
第 1 步
Amazon Elastic Compute Cloud（Amazon EC2）实例使用 Amazon Kinesis Producer Library（KPL）生成数据。第 3 步
适用于 Apache Flink Studio 的亚马逊托管服务处理传入记录，并将处理过的数据保存到 Amazon Simple Storage Service（Amazon S3）存储桶。第 4 步
Amazon CloudWatch 控制面板会监控应用程序运行状况、进度、资源利用率、事件和错误。
-
选项 3
-
使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 模板
使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 模板
选项 3 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 模板
第 1 步
Amazon Elastic Compute Cloud (Amazon EC2) 实例使用 Amazon Kinesis Producer Library (KPL) 生成数据。第 2 步
Amazon Kinesis Data Firehose 先缓冲数据，然后再将输出传送至 Amazon S3 存储桶。这是一项完全托管的服务，会自动扩展以匹配数据吞吐量，并且无需持续管理。第 3 步
Amazon CloudWatch 控制面板可用于监控数据摄取和缓冲。CloudWatch 告警基于 Kinesis Data Firehose 的基本指标设置。选项 3 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 模板
第 1 步
Amazon Kinesis Data Streams 存储传入的串流数据。第 2 步
Amazon Kinesis Data Firehose 先缓冲数据，然后再将输出传送至 Amazon S3 存储桶。这是一项完全托管的服务，会自动扩展以匹配数据吞吐量，并且无需持续管理。第 3 步
Amazon CloudWatch 控制面板可用于监控数据摄取和缓冲。CloudWatch 告警基于 Kinesis Data Firehose 的基本指标设置。 -
选项 4
-
使用 Amazon Kinesis Data Streams、适用于 Apache Flink 的亚马逊托管服务和 Amazon API Gateway 的 AWS CloudFormation 模板
使用 Amazon Kinesis Data Streams、适用于 Apache Flink 的亚马逊托管服务和 Amazon API Gateway 的 AWS CloudFormation 模板
选项 4 — 使用 Amazon Kinesis Data Streams、适用于 Apache Flink 的亚马逊托管服务和 Amazon API Gateway 的 AWS CloudFormation 模板
第 1 步
Amazon Elastic Compute Cloud (Amazon EC2) 实例使用 Amazon Kinesis Producer Library (KPL) 生成数据。第 3 步
适用于 Apache Flink 的托管服务处理传入记录并异步调用外部端点。第 4 步
演示应用程序调用了 AWS Lambda 函数。第 5 步
外部 API 可以是 Amazon API Gateway 支持的任何集成（例如，Amazon SageMaker 端点）。第 6 步
Amazon CloudWatch 控制面板会监控应用程序运行状况、进度、资源利用率、事件和错误。选项 4 — 使用 Amazon Kinesis Data Streams、适用于 Apache Flink 的亚马逊托管服务和 Amazon API Gateway 的 AWS CloudFormation 模板
第 1 步
Amazon Elastic Compute Cloud (Amazon EC2) 实例使用 Amazon Kinesis Producer Library (KPL) 生成数据。第 3 步
适用于 Apache Flink 的托管服务处理传入记录并异步调用外部端点。第 4 步
演示应用程序调用了 AWS Lambda 函数。第 5 步
外部 API 可以是 Amazon API Gateway 支持的任何集成（例如，Amazon SageMaker 端点）。第 6 步
Amazon CloudWatch 控制面板会监控应用程序运行状况、进度、资源利用率、事件和错误。