适用于 Amazon Kinesis 的串流数据解决方案提供了多种 AWS CloudFormation 模板,数据在模板中流经生成器、串流存储、使用者和目的地。为支持多种使用案例和业务需求,该解决方案提供了四种 CloudFormation 模板。与适用于 Amazon MSK 的串流数据解决方案类似,这些模板已配置为应用最佳实践,从而可使用控制面板和告警来监控功能是否正常以及保护数据。
优势
AWS 解决方案概览
-
选项 1
-
选项 2
-
选项 3
-
选项 4
-
选项 1
-
使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 模板
适用于 Amazon Kinesis 的串流数据解决方案架构
选项 1 – 使用 Amazon API Gateway、Kinesis Data Streams 和 AWS Lambda 的 AWS CloudFormation 模板
此 AWS CloudFormation 模板部署包含以下内容的参考架构:
- Amazon API Gateway REST API 充当 Amazon Kinesis Data Streams 的代理,添加单个数据记录或数据记录列表。
- Amazon Cognito 用户池用于控制谁可以调用 REST API 方法。
- Kinesis Data Streams 用于存储传入流数据。
- AWS Lambda 函数处理来自数据流的记录。
- AWS Lambda 处理过程中发生的错误和失败记录将添加注释,事件将存储在 Amazon Simple Queue Service (Amazon SQS) 中。该队列为失败的批处理记录和 Lambda 错误存储元数据,使客户能够检索这些记录并确定解决这些记录的后续步骤。
适用于 Amazon Kinesis 的流式处理数据解决方案
版本 1.7.2
发布日期:2023 年 1 月
作者:AWS预计部署时间:5-10 分钟
-
选项 2
-
使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 模板
适用于 Amazon Kinesis 的串流数据解决方案架构
选项 2 – 使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 模板
此 AWS CloudFormation 模板部署包含以下内容的参考架构:
- Amazon Elastic Compute Cloud (Amazon EC2) 实例使用 Amazon Kinesis Producer Library (KPL) 生成数据。
- Amazon Kinesis Data Streams 存储传入数据流。
- Kinesis Data Analytics 处理传入记录,并将处理过的数据保存到 Amazon Simple Storage Service (Amazon S3) 存储桶。
- Amazon CloudWatch 控制面板会监控应用程序运行状况、进度、资源利用率、事件和错误。
适用于 Amazon Kinesis 的流式处理数据解决方案
版本 1.7.2
发布日期:2023 年 1 月
作者:AWS预计部署时间:5-10 分钟
-
选项 3
-
使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 模板
适用于 Amazon Kinesis 的串流数据解决方案架构
选项 3 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 模板
此选项部署包含以下内容的参考架构:
- Amazon Kinesis Data Streams 存储传入的串流数据。
- Amazon Kinesis Data Firehose 先缓冲数据,然后再将输出传送至 Amazon S3 存储桶。这是一项完全托管的服务,会自动扩展以匹配数据吞吐量,并且无需持续管理。
- Amazon CloudWatch 控制面板可用于监控数据摄入和缓冲。CloudWatch 告警基于 Kinesis Data Firehose 的基本指标设置。
适用于 Amazon Kinesis 的流式处理数据解决方案
版本 1.7.2
发布日期:2023 年 1 月
作者:AWS
预计部署时间:5-10 分钟
- Amazon Kinesis Data Streams 存储传入的串流数据。
-
选项 4
-
使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 模板
适用于 Amazon Kinesis 的串流数据解决方案架构
选项 4 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 模板
此选项部署与选项 2 相似的参考架构,包含以下内容:
- Amazon Elastic Compute Cloud (Amazon EC2) 实例使用 Amazon Kinesis Producer Library (KPL) 生成数据。
- Kinesis Data Streams 存储传入流数据。
- Kinesis Data Analytics 处理传入记录并异步调用外部端点。
- 演示应用程序调用了 AWS Lambda 函数。
- 外部 API 可以是 Amazon API Gateway 支持的任何集成(例如,Amazon SageMaker 端点)。
- Amazon CloudWatch 控制面板会监控应用程序运行状况、进度、资源利用率、事件和错误。
适用于 Amazon Kinesis 的流式处理数据解决方案
版本 1.7.2
发布日期:2023 年 1 月
作者:AWS
预计部署时间:5-10 分钟
- Amazon Elastic Compute Cloud (Amazon EC2) 实例使用 Amazon Kinesis Producer Library (KPL) 生成数据。
相关内容
本博文概括了使用各种 AWS 服务对流化数据完成实时推理的架构。它还介绍了通过 Amazon Kinesis Data Analytics (KDA) 与 Apache Flink 集成异步调用基础服务或数据库。