适用于 Amazon Kinesis 的串流数据解决方案提供了多种 AWS CloudFormation 模板，数据在模板中流经生成器、串流存储、使用者和目的地。为支持多种使用案例和业务需求，该解决方案提供了四种 CloudFormation 模板。与适用于 Amazon MSK 的串流数据解决方案类似，这些模板已配置为应用最佳实践，从而可使用控制面板和告警来监控功能是否正常以及保护数据。
优势
AWS 解决方案概览
-
选项 1
-
选项 2
-
选项 3
-
选项 4
-
选项 1
-
使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 模板
单击可放大使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 模板
适用于 Amazon Kinesis 的串流数据解决方案架构
选项 1 – 使用 Amazon API Gateway、Kinesis Data Streams 和 AWS Lambda 的 AWS CloudFormation 模板
此 AWS CloudFormation 模板部署包含以下内容的参考架构：
- Amazon API Gateway REST API 充当 Amazon Kinesis Data Streams 的代理，添加单个数据记录或数据记录列表。
- Amazon Cognito 用户池用于控制谁可以调用 REST API 方法。
- Kinesis Data Streams 用于存储传入流数据。
- AWS Lambda 函数处理来自数据流的记录。
- AWS Lambda 处理过程中发生的错误和失败记录将添加注释，事件将存储在 Amazon Simple Queue Service (Amazon SQS) 中。该队列为失败的批处理记录和 Lambda 错误存储元数据，使客户能够检索这些记录并确定解决这些记录的后续步骤。
适用于 Amazon Kinesis 的流式处理数据解决方案
预估费用 源代码 选项 1：使用 API Gateway、Kinesis Data Streams 和 AWS Lambda 的 AWS CloudFormation 模板版本 1.7.2
发布日期：2023 年 1 月
作者：AWS预计部署时间：5-10 分钟
-
选项 2
-
使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 模板
单击可放大使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 模板
适用于 Amazon Kinesis 的串流数据解决方案架构
选项 2 – 使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 模板
此 AWS CloudFormation 模板部署包含以下内容的参考架构：
- Amazon Elastic Compute Cloud (Amazon EC2) 实例使用 Amazon Kinesis Producer Library (KPL) 生成数据。
- Amazon Kinesis Data Streams 存储传入数据流。
- Kinesis Data Analytics 处理传入记录，并将处理过的数据保存到 Amazon Simple Storage Service (Amazon S3) 存储桶。
- Amazon CloudWatch 控制面板会监控应用程序运行状况、进度、资源利用率、事件和错误。
适用于 Amazon Kinesis 的流式处理数据解决方案
版本 1.7.2
发布日期：2023 年 1 月
作者：AWS预计部署时间：5-10 分钟
-
选项 3
-
使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 模板
单击可放大使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 模板
适用于 Amazon Kinesis 的串流数据解决方案架构
选项 3 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 模板
此选项部署包含以下内容的参考架构：
- Amazon Kinesis Data Streams 存储传入的串流数据。
- Amazon Kinesis Data Firehose 先缓冲数据，然后再将输出传送至 Amazon S3 存储桶。这是一项完全托管的服务，会自动扩展以匹配数据吞吐量，并且无需持续管理。
- Amazon CloudWatch 控制面板可用于监控数据摄入和缓冲。CloudWatch 告警基于 Kinesis Data Firehose 的基本指标设置。
适用于 Amazon Kinesis 的流式处理数据解决方案
版本 1.7.2
发布日期：2023 年 1 月
作者：AWS
预计部署时间：5-10 分钟
- Amazon Kinesis Data Streams 存储传入的串流数据。
-
选项 4
-
使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 模板
单击可放大使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 模板
适用于 Amazon Kinesis 的串流数据解决方案架构
选项 4 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 模板
此选项部署与选项 2 相似的参考架构，包含以下内容：
- Amazon Elastic Compute Cloud (Amazon EC2) 实例使用 Amazon Kinesis Producer Library (KPL) 生成数据。
- Kinesis Data Streams 存储传入流数据。
- Kinesis Data Analytics 处理传入记录并异步调用外部端点。
- 演示应用程序调用了 AWS Lambda 函数。
- 外部 API 可以是 Amazon API Gateway 支持的任何集成（例如，Amazon SageMaker 端点）。
- Amazon CloudWatch 控制面板会监控应用程序运行状况、进度、资源利用率、事件和错误。
适用于 Amazon Kinesis 的流式处理数据解决方案
版本 1.7.2
发布日期：2023 年 1 月
作者：AWS
预计部署时间：5-10 分钟
- Amazon Elastic Compute Cloud (Amazon EC2) 实例使用 Amazon Kinesis Producer Library (KPL) 生成数据。
相关内容
本博文概括了使用各种 AWS 服务对流化数据完成实时推理的架构。它还介绍了通过 Amazon Kinesis Data Analytics (KDA) 与 Apache Flink 集成异步调用基础服务或数据库。
