概览
适用于 Amazon MSK 的串流数据解决方案提供了多种 AWS CloudFormation 模板；数据在模板中流经生成器、串流存储、使用者和目的地。为支持多种使用案例和业务需求，此解决方案提供了四种 AWS CloudFormation 模板。与适用于 Amazon Kinesis 的流数据解决方案类似，这些模板已配置为应用最佳实践，从而可使用控制面板和告警来监控功能是否正常以及保护数据。
流数据必须由可大规模扩展，并且能够处理来自数据生成器的大量数据的存储持久捕获。生成器可以是成千上万个数据来源，每个数据来源持续生成流数据，通常同时以小规模（KB）提交记录。
流数据包括多种数据，例如客户使用移动或 Web 应用程序生成的日志文件、网购数据、游戏内玩家活动、社交网络信息、金融交易大厅或地理空间服务，以及来自数据中心内所连接设备或仪器的遥测数据。
优势
技术详情
-
选项 1
-
选项 2
-
选项 3
-
选项 4
-
选项 1
-
使用 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 的 AWS CloudFormation 模板
使用 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 的 AWS CloudFormation 模板
选项 1 – 使用 Amazon MSK 的 AWS CloudFormation 模板
第 1 步
此 AWS CloudFormation 模板可部署 Amazon MSK 集群。
选项 1 – 使用 Amazon MSK 的 AWS CloudFormation 模板
第 1 步
此 AWS CloudFormation 模板可部署 Amazon MSK 集群。
相关内容
AWS 架构博客用于存档、重放或分析的 Amazon MSK 备份阅读博客本博客文章涵盖了可用于将 MSK 主题备份到 S3 的模式和解决方案，这使客户能够减少 MSK 中的长期数据保留设置。有些客户将长期数据存储在 MSK 中用于数据分析和机器学习工作负载。我们共享模式，以通过卸载 S3 中的主题数据简化此架构并将 S3 用于分析/ML。
培训Amazon MSK 实验立即报名此站点托管与 Amazon MSK 相关的信息和动手实验室。这些实验可以在个人或企业 AWS 账户上或在 AWS 客户团队为使用事件引擎的事件预置的账户上运行。
-
选项 2
-
使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 模板
使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 模板
选项 2 – 使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 模板
第 1 步
此 AWS CloudFormation 模板部署了一个处理 Apache Kafka 主题中记录的 Lambda 函数。默认函数是一个 Node.js 应用程序，该应用程序可记录收到的消息，但您可以根据业务需要对该应用程序进行自定义。选项 2 – 使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 模板
第 1 步
此 AWS CloudFormation 模板部署了一个处理 Apache Kafka 主题中记录的 Lambda 函数。默认函数是一个 Node.js 应用程序，该应用程序可记录收到的消息，但您可以根据业务需要对该应用程序进行自定义。相关内容
AWS 架构博客用于存档、重放或分析的 Amazon MSK 备份阅读博客本博客文章涵盖了可用于将 MSK 主题备份到 S3 的模式和解决方案，这使客户能够减少 MSK 中的长期数据保留设置。有些客户将长期数据存储在 MSK 中用于数据分析和机器学习工作负载。我们共享模式，以通过卸载 S3 中的主题数据简化此架构并将 S3 用于分析/ML。
培训Amazon MSK 实验立即报名此站点托管与 Amazon MSK 相关的信息和动手实验室。这些实验可以在个人或企业 AWS 账户上或在 AWS 客户团队为使用事件引擎的事件预置的账户上运行。
-
选项 3
-
使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 模板
使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 模板
选项 3 – 使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 模板
第 1 步
处理 Apache Kafka 主题中的记录的 AWS Lambda 函数。第 2 步
在将数据交付给目标之前缓存数据的 Amazon Kinesis Data Firehose 传输流。第 3 步
存储来自 Amazon MSK 集群的所有原始事件的 Amazon Simple Storage Service (Amazon S3) 存储桶。选项 3 – 使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 模板
第 1 步
处理 Apache Kafka 主题中的记录的 AWS Lambda 函数。第 2 步
在将数据交付给目标之前缓存数据的 Amazon Kinesis Data Firehose 传输流。第 3 步
存储来自 Amazon MSK 集群的所有原始事件的 Amazon Simple Storage Service (Amazon S3) 存储桶。相关内容
AWS 架构博客用于存档、重放或分析的 Amazon MSK 备份阅读博客本博客文章涵盖了可用于将 MSK 主题备份到 S3 的模式和解决方案，这使客户能够减少 MSK 中的长期数据保留设置。有些客户将长期数据存储在 MSK 中用于数据分析和机器学习工作负载。我们共享模式，以通过卸载 S3 中的主题数据简化此架构并将 S3 用于分析/ML。
培训Amazon MSK 实验立即报名此站点托管与 Amazon MSK 相关的信息和动手实验室。这些实验可以在个人或企业 AWS 账户上或在 AWS 客户团队为使用事件引擎的事件预置的账户上运行。
-
选项 4
-
使用 Amazon MSK、Amazon Kinesis Data Firehose、Amazon Kinesis Data Analytics 和 Amazon S3 的 AWS CloudFormation 模板
使用 Amazon MSK、Amazon Kinesis Data Firehose、Amazon Kinesis Data Analytics 和 Amazon S3 的 AWS CloudFormation 模板
选项 4 – 使用 Amazon MSK、Amazon Kinesis Data Analytics 和 Amazon S3 的 AWS CloudFormation 模板
第 1 步
一个从 Amazon MSK 集群中的现有主题读取事件的 Kinesis Data Analytics Studio 笔记本。第 2 步
存储输出的 Amazon Simple Storage Service (Amazon S3) 存储桶选项 4 – 使用 Amazon MSK、Amazon Kinesis Data Analytics 和 Amazon S3 的 AWS CloudFormation 模板
第 1 步
一个从 Amazon MSK 集群中的现有主题读取事件的 Kinesis Data Analytics Studio 笔记本。第 2 步
存储输出的 Amazon Simple Storage Service (Amazon S3) 存储桶相关内容
AWS 架构博客用于存档、重放或分析的 Amazon MSK 备份阅读博客本博客文章涵盖了可用于将 MSK 主题备份到 S3 的模式和解决方案，这使客户能够减少 MSK 中的长期数据保留设置。有些客户将长期数据存储在 MSK 中用于数据分析和机器学习工作负载。我们共享模式，以通过卸载 S3 中的主题数据简化此架构并将 S3 用于分析/ML。
培训Amazon MSK 实验立即报名此站点托管与 Amazon MSK 相关的信息和动手实验室。这些实验可以在个人或企业 AWS 账户上或在 AWS 客户团队为使用事件引擎的事件预置的账户上运行。
