此 AWS 解决方案有什么作用？
适用于 Amazon MSK 的串流数据解决方案提供了多种 AWS CloudFormation 模板；数据在模板中流经生成器、串流存储、使用者和目的地。为支持多种使用案例和业务需求，此解决方案提供了四种 AWS CloudFormation 模板。与适用于 Amazon Kinesis 的串流数据解决方案类似，这些模板已配置为应用最佳实践，从而可使用控制面板和告警来监控功能是否正常以及保护数据。
优势
自动化配置
自动配置必要的 AWS 服务，以轻松捕获、存储、处理和交付流数据。
四种模板选择
您有四种不同的 AWS CloudFormation 模板可以选择。为您的生产环境测试新的服务组合并改进现有的应用程序。
实时使用案例
捕获大量的应用程序日志、分析点击流数据、持续交付到数据湖等。
可自定义的源代码
自定义解决方案的样板代码，然后使用解决方案的监控功能快速从测试环境转换到生产环境。
AWS 解决方案概览
下图显示您可以使用该解决方案实施指南自动部署的四个 AWS CloudFormation 模板。
-
选项 1
-
选项 2
-
选项 3
-
选项 4
-
选项 1
-
使用 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 的 AWS CloudFormation 模板
单击可放大
适用于 Amazon MSK 架构的流式处理数据解决方案
选项 1 – 使用 Amazon MSK 的 AWS CloudFormation 模板
此 AWS CloudFormation 模板部署以下架构：
- 一个 Amazon MSK 集群。
- 一个包含与 Amazon MSK 集群通信所需的 Apache Kafka 客户端库的 Amazon EC2 实例。此客户端设备与集群位于同一 VPC 中，并且可以通过 AWS Systems Manager 会话管理器进行访问。
适用于 Amazon MSK 的流式处理数据解决方案
估计费用 源代码 选项 1：使用 Amazon MSK 的 AWS CloudFormation 模板版本 1.7.2
发布日期：2023 年 1 月
作者：AWS
预计部署时间：25-30 分钟
-
选项 2
-
适用于 Amazon MSK 的流式处理数据解决方案
估计费用 源代码 选项 2：使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 模板版本 1.7.2
发布日期：2023 年 1 月
作者：AWS
预计部署时间：5 分钟
-
选项 3
-
使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 模板
单击可放大
适用于 Amazon MSK 架构的流式处理数据解决方案
选项 3 – 使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 模板
此 AWS CloudFormation 模板部署包含以下内容的参考架构：
- 处理 Apache Kafka 主题中的记录的 AWS Lambda 函数。
- 在将数据交付给目标之前缓存数据的 Amazon Kinesis Data Firehose 传输流。
- 存储来自 Amazon MSK 集群的所有原始事件的 Amazon Simple Storage Service (Amazon S3) 存储桶。
适用于 Amazon MSK 的流式处理数据解决方案
估计费用 源代码 选项 3：使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 模板版本 1.7.2
发布日期：2023 年 1 月
作者：AWS
预计部署时间：10 分钟
- 处理 Apache Kafka 主题中的记录的 AWS Lambda 函数。
-
选项 4
-
使用 Amazon MSK、Amazon Kinesis Data Firehose、Amazon Kinesis Data Analytics 和 Amazon S3 的 AWS CloudFormation 模板
单击可放大
适用于 Amazon MSK 架构的流式处理数据解决方案
选项 4 – 使用 Amazon MSK、Amazon Kinesis Data Analytics 和 Amazon S3 的 AWS CloudFormation 模板
此 AWS CloudFormation 模板部署包含以下内容的参考架构：
- 一个从 Amazon MSK 集群中的现有主题读取事件的 Kinesis Data Analytics Studio 笔记本。
- 存储输出的 Amazon Simple Storage Service (Amazon S3) 存储桶
适用于 Amazon MSK 的流式处理数据解决方案
估计费用 源代码 选项 4 – 使用 Amazon MSK、Amazon Kinesis Data Analytics 和 Amazon S3 的 AWS CloudFormation 模板版本 1.7.2
发布日期：2023 年 1 月
作者：AWS
预计部署时间：10 分钟
- 一个从 Amazon MSK 集群中的现有主题读取事件的 Kinesis Data Analytics Studio 笔记本。
相关内容
AWS 架构博客
用于存档、重放或分析的 Amazon MSK 备份
本博客文章涵盖了可用于将 MSK 主题备份到 S3 的模式和解决方案，这使客户能够减少 MSK 中的长期数据保留设置。有些客户将长期数据存储在 MSK 中用于数据分析和机器学习工作负载。我们共享模式，以通过卸载 S3 中的主题数据简化此架构并将 S3 用于分析/ML。
阅读完整博客文章
