概览
适用于 Amazon MSK 的流式处理数据解决方案让您可以使用 Amazon Managed Streaming for Apache Kafka（Amazon MSK）捕获流数据，这是一种大规模、可扩展的存储服务，能够处理来自数据生产者的大量数据。生成器可以是成千上万个数据来源，每个数据来源持续生成流数据，通常同时以小规模（KB）提交记录。
此外，流式处理数据包括多种数据，例如客户使用移动或 Web 应用程序生成的日志文件、网购数据、游戏内玩家活动、社交网络信息、金融交易大厅或地理空间服务，以及来自数据中心内所连接设备或仪器的遥测数据。
该 AWS 解决方案提供了四种 AWS CloudFormation 模板；数据在模板中流经生成器、串流存储、使用者和目的地。与适用于 Amazon Kinesis 的流式处理数据解决方案类似，这些模板已配置为应用最佳实践，从而可使用控制面板和警报来监控功能和保护数据。
优势
技术详情
您可以使用实施指南和随附的 AWS CloudFormation 模板自动部署该架构。
-
选项 1
-
选项 2
-
选项 3
-
选项 4
-
选项 1
-
使用 Amazon Managed Streaming for Apache Kafka（Amazon MSK）的 AWS CloudFormation 模板
单击可放大使用 Amazon Managed Streaming for Apache Kafka（Amazon MSK）的 AWS CloudFormation 模板
选项 1 – 使用 Amazon MSK 的 AWS CloudFormation 模板
第 1 步
此 AWS CloudFormation 模板部署 Amazon Managed Streaming for Apache Kafka（MSK）集群。
第 2 步
Amazon Cognito 用户群体用于控制谁可以调用 REST API 方法。第 1 步
此 AWS CloudFormation 模板部署 Amazon Managed Streaming for Apache Kafka（MSK）集群。
第 2 步
Amazon Cognito 用户群体用于控制谁可以调用 REST API 方法。 -
选项 2
-
使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 模板
单击可放大使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 模板
选项 2 – 使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 模板
第 1 步
此 CloudFormation 模板部署了一个处理 Apache Kafka 主题中记录的 AWS Lambda 函数。默认函数是一个 Node.js 应用程序，该应用程序可记录收到的消息，但您可以根据业务需要对该应用程序进行自定义。
第 1 步
此 CloudFormation 模板部署了一个处理 Apache Kafka 主题中记录的 AWS Lambda 函数。默认函数是一个 Node.js 应用程序，该应用程序可记录收到的消息，但您可以根据业务需要对该应用程序进行自定义。 -
选项 3
-
使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 模板
单击可放大使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 模板
选项 3 – 使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 模板
第 1 步
处理 Apache Kafka 主题中的记录的 Lambda 函数。第 2 步
在将数据交付给目标之前缓存数据的 Amazon Kinesis Data Firehose 传输流。第 3 步
存储来自 Amazon MSK 集群的所有原始事件的 Amazon Simple Storage Service（Amazon S3）存储桶。第 1 步
处理 Apache Kafka 主题中的记录的 Lambda 函数。第 2 步
在将数据交付给目标之前缓存数据的 Amazon Kinesis Data Firehose 传输流。第 3 步
存储来自 Amazon MSK 集群的所有原始事件的 Amazon Simple Storage Service（Amazon S3）存储桶。 -
选项 4
-
使用 Amazon MSK、适用于 Apache Flink 的亚马逊托管服务和 Amazon S3 的 AWS CloudFormation 模板
单击可放大使用 Amazon MSK、适用于 Apache Flink 的亚马逊托管服务和 Amazon S3 的 AWS CloudFormation 模板
选项 4 — 使用 Amazon MSK、适用于 Apache Flink 的亚马逊托管服务和 Amazon S3 的 AWS CloudFormation 模板
第 1 步
一个适用于 Apache Flink 的亚马逊托管服务 Studio 笔记本，用于从 Amazon MSK 集群中的现有主题读取事件。第 2 步
一个存储输出的 S3 存储桶。第 1 步
一个适用于 Apache Flink 的亚马逊托管服务 Studio 笔记本，用于从 Amazon MSK 集群中的现有主题读取事件。第 2 步
一个存储输出的 S3 存储桶。