适用于 Amazon MSK 的流式处理数据解决方案

一种可以大规模扩展的持久性实时数据流服务,使您能够持续捕获数据以进行处理

概览

适用于 Amazon MSK 的串流数据解决方案提供了多种 AWS CloudFormation 模板;数据在模板中流经生成器、串流存储、使用者和目的地。为支持多种使用案例和业务需求,此解决方案提供了四种 AWS CloudFormation 模板。与适用于 Amazon Kinesis 的流数据解决方案类似,这些模板已配置为应用最佳实践,从而可使用控制面板和告警来监控功能是否正常以及保护数据。

流数据必须由可大规模扩展,并且能够处理来自数据生成器的大量数据的存储持久捕获。生成器可以是成千上万个数据来源,每个数据来源持续生成流数据,通常同时以小规模(KB)提交记录。

流数据包括多种数据,例如客户使用移动或 Web 应用程序生成的日志文件、网购数据、游戏内玩家活动、社交网络信息、金融交易大厅或地理空间服务,以及来自数据中心内所连接设备或仪器的遥测数据。

此 AWS 解决方案的应用场景
数据仓库 实时流数据

优势

自动化配置
自动配置必要的 AWS 服务,以轻松捕获、存储、处理和交付流数据。
四种模板选择
您有四种不同的 AWS CloudFormation 模板可以选择。为您的生产环境测试新的服务组合并改进现有的应用程序。
实时使用案例
捕获大量的应用程序日志、分析点击流数据、持续交付到数据湖等。
可自定义的源代码
自定义解决方案的样板代码,然后使用监控功能快速从测试环境转换到生产环境。

技术详情

下图显示您可以使用该解决方案实施指南自动部署的四个 AWS CloudFormation 模板。
  • 选项 1
  • 使用 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 的 AWS CloudFormation 模板
    选项 1 – 使用 Amazon MSK 的 AWS CloudFormation 模板
    AWS 架构博客
    用于存档、重放或分析的 Amazon MSK 备份

    本博客文章涵盖了可用于将 MSK 主题备份到 S3 的模式和解决方案,这使客户能够减少 MSK 中的长期数据保留设置。有些客户将长期数据存储在 MSK 中用于数据分析和机器学习工作负载。我们共享模式,以通过卸载 S3 中的主题数据简化此架构并将 S3 用于分析/ML。

    阅读博客 
    培训
    Data Analytics Fundamentals

    在本自主进度课程中,您将了解制定数据分析解决方案计划的流程以及所涉及的各种数据分析流程。

    立即报名 
    培训
    Amazon MSK 实验

    此站点托管与 Amazon MSK 相关的信息和动手实验室。这些实验可以在个人或企业 AWS 账户上或在 AWS 客户团队为使用事件引擎的事件预置的账户上运行。

    立即报名 
    关于此部署
    版本
    1.8.1
    发布时间
    2023 年 10 月
    作者
    AWS
    预计部署时间
    25-30 分钟
    预估费用
    下载实施指南  源代码  CloudFormation 模板  订阅 RSS 源 
    部署选项
    准备好开始使用了吗?
    通过在 AWS 管理控制台启动来部署此解决方案
    此 AWS 解决方案是否可以帮到您?
    提供反馈
  • 选项 2
  • 使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 模板
    选项 2 – 使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 模板

    第 1 步
    此 AWS CloudFormation 模板部署了一个处理 Apache Kafka 主题中记录的 Lambda 函数。默认函数是一个 Node.js 应用程序,该应用程序可记录收到的消息,但您可以根据业务需要对该应用程序进行自定义。

     

    AWS 架构博客
    用于存档、重放或分析的 Amazon MSK 备份

    本博客文章涵盖了可用于将 MSK 主题备份到 S3 的模式和解决方案,这使客户能够减少 MSK 中的长期数据保留设置。有些客户将长期数据存储在 MSK 中用于数据分析和机器学习工作负载。我们共享模式,以通过卸载 S3 中的主题数据简化此架构并将 S3 用于分析/ML。

    阅读博客 
    培训
    Data Analytics Fundamentals

    在本自主进度课程中,您将了解制定数据分析解决方案计划的流程以及所涉及的各种数据分析流程。

    立即报名 
    培训
    Amazon MSK 实验

    此站点托管与 Amazon MSK 相关的信息和动手实验室。这些实验可以在个人或企业 AWS 账户上或在 AWS 客户团队为使用事件引擎的事件预置的账户上运行。

    立即报名 
    关于此部署
    版本
    1.8.1
    发布时间
    2023 年 10 月
    作者
    AWS
    预计部署时间
    25-30 分钟
    预估费用
    下载实施指南  源代码  CloudFormation 模板  订阅 RSS 源 
    部署选项
    准备好开始使用了吗?
    通过在 AWS 管理控制台启动来部署此解决方案
    此 AWS 解决方案是否可以帮到您?
    提供反馈
  • 选项 3
  • 使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 模板
    选项 3 – 使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 模板
    AWS 架构博客
    用于存档、重放或分析的 Amazon MSK 备份

    本博客文章涵盖了可用于将 MSK 主题备份到 S3 的模式和解决方案,这使客户能够减少 MSK 中的长期数据保留设置。有些客户将长期数据存储在 MSK 中用于数据分析和机器学习工作负载。我们共享模式,以通过卸载 S3 中的主题数据简化此架构并将 S3 用于分析/ML。

    阅读博客 
    培训
    Data Analytics Fundamentals

    在本自主进度课程中,您将了解制定数据分析解决方案计划的流程以及所涉及的各种数据分析流程。

    立即报名 
    培训
    Amazon MSK 实验

    此站点托管与 Amazon MSK 相关的信息和动手实验室。这些实验可以在个人或企业 AWS 账户上或在 AWS 客户团队为使用事件引擎的事件预置的账户上运行。

    立即报名 
    关于此部署
    版本
    1.8.1
    发布时间
    2023 年 10 月
    作者
    AWS
    预计部署时间
    25-30 分钟
    预估费用
    下载实施指南  源代码  CloudFormation 模板  订阅 RSS 源 
    部署选项
    准备好开始使用了吗?
    通过在 AWS 管理控制台启动来部署此解决方案
    此 AWS 解决方案是否可以帮到您?
    提供反馈
  • 选项 4
  • 使用 Amazon MSK、适用于 Apache Flink 的亚马逊托管服务和 Amazon S3 的 AWS CloudFormation 模板
    选项 4 — 使用 Amazon MSK、适用于 Apache Flink 的亚马逊托管服务和 Amazon S3 的 AWS CloudFormation 模板
    AWS 架构博客
    用于存档、重放或分析的 Amazon MSK 备份

    本博客文章涵盖了可用于将 MSK 主题备份到 S3 的模式和解决方案,这使客户能够减少 MSK 中的长期数据保留设置。有些客户将长期数据存储在 MSK 中用于数据分析和机器学习工作负载。我们共享模式,以通过卸载 S3 中的主题数据简化此架构并将 S3 用于分析/ML。

    阅读博客 
    培训
    Data Analytics Fundamentals

    在本自主进度课程中,您将了解制定数据分析解决方案计划的流程以及所涉及的各种数据分析流程。

    立即报名 
    培训
    Amazon MSK 实验

    此站点托管与 Amazon MSK 相关的信息和动手实验室。这些实验可以在个人或企业 AWS 账户上或在 AWS 客户团队为使用事件引擎的事件预置的账户上运行。

    立即报名 
    关于此部署
    版本
    1.8.1
    发布时间
    2023 年 10 月
    作者
    AWS
    预计部署时间
    25-30 分钟
    预估费用
    下载实施指南  源代码  CloudFormation 模板  订阅 RSS 源 
    部署选项
    准备好开始使用了吗?
    通过在 AWS 管理控制台启动来部署此解决方案
    此 AWS 解决方案是否可以帮到您?
    提供反馈