概览

适用于 Amazon Kinesis 的串流数据解决方案提供了多种 AWS CloudFormation 模板,数据在模板中流经生成器、串流存储、使用者和目的地。为支持多种使用案例和业务需求,该解决方案提供了四种 CloudFormation 模板。与适用于 Amazon MSK 的流数据解决方案类似,这些模板已配置为应用最佳实践,从而可使用控制面板和告警来监控功能是否正常以及保护数据。
流数据必须由可大规模扩展,并且能够处理来自数据生成器的大量数据的存储持久捕获。生成器可以是成千上万个数据来源,每个数据来源持续生成流数据,通常同时以小规模(KB)提交记录。
流数据包括多种数据,例如客户使用移动或 Web 应用程序生成的日志文件、网购数据、游戏内玩家活动、社交网络信息、金融交易大厅或地理空间服务,以及来自数据中心内所连接设备或仪器的遥测数据。
优势

技术详情

-
选项 1
-
选项 2
-
选项 3
-
选项 4
-
选项 1
-
选项 1 – 使用 Amazon API Gateway、Kinesis Data Streams 和 AWS Lambda 的 AWS CloudFormation 模板
第 1 步
Amazon API Gateway REST API 充当 Amazon Kinesis Data Streams 的代理,添加单个数据记录或数据记录列表。第 3 步
Kinesis Data Streams 用于存储传入流数据。第 4 步
AWS Lambda 函数处理来自数据流的记录。第 5 步
AWS Lambda 处理过程中发生的错误和失败记录将添加注释,事件将存储在 Amazon Simple Queue Service(Amazon SQS)中。该队列为失败的批处理记录和 Lambda 错误存储元数据,使客户能够检索这些记录并确定解决这些记录的后续步骤。 -
选项 2
-
使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 模板
选项 2 – 使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 模板
第 1 步
Amazon Elastic Compute Cloud (Amazon EC2) 实例使用 Amazon Kinesis Producer Library (KPL) 生成数据。第 3 步
Kinesis Data Analytics 处理传入记录,并将处理过的数据保存到 Amazon Simple Storage Service (Amazon S3) 存储桶。第 4 步
Amazon CloudWatch 控制面板会监控应用程序运行状况、进度、资源利用率、事件和错误。
-
选项 3
-
选项 3 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 模板
第 1 步
Amazon Kinesis Data Streams 存储传入的串流数据。第 2 步
Amazon Kinesis Data Firehose 先缓冲数据,然后再将输出传送至 Amazon S3 存储桶。这是一项完全托管的服务,会自动扩展以匹配数据吞吐量,并且无需持续管理。第 3 步
Amazon CloudWatch 控制面板可用于监控数据摄取和缓冲。CloudWatch 告警基于 Kinesis Data Firehose 的基本指标设置。 -
选项 4
-
使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 模板
选项 4 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 模板
第 1 步
Amazon Elastic Compute Cloud (Amazon EC2) 实例使用 Amazon Kinesis Producer Library (KPL) 生成数据。第 3 步
Kinesis Data Analytics 处理传入记录并异步调用外部端点。第 4 步
演示应用程序调用了 AWS Lambda 函数。第 5 步
外部 API 可以是 Amazon API Gateway 支持的任何集成(例如,Amazon SageMaker 端点)。第 6 步
Amazon CloudWatch 控制面板会监控应用程序运行状况、进度、资源利用率、事件和错误。