适用于 Amazon MSK 的流数据解决方案

使用可扩展且耐用的实时数据流服务持续捕获数据进行处理

概览

适用于 Amazon MSK 的流式处理数据解决方案让您可以使用 Amazon Managed Streaming for Apache Kafka(Amazon MSK)捕获流数据,这是一种大规模、可扩展的存储服务,能够处理来自数据生产者的大量数据。生成器可以是成千上万个数据来源,每个数据来源持续生成流数据,通常同时以小规模(KB)提交记录。

此外,流式处理数据包括多种数据,例如客户使用移动或 Web 应用程序生成的日志文件、网购数据、游戏内玩家活动、社交网络信息、金融交易大厅或地理空间服务,以及来自数据中心内所连接设备或仪器的遥测数据。

该 AWS 解决方案提供了四种 AWS CloudFormation 模板;数据在模板中流经生成器、串流存储、使用者和目的地。与适用于 Amazon Kinesis 的流式处理数据解决方案类似,这些模板已配置为应用最佳实践,从而可使用控制面板和警报来监控功能和保护数据。

此 AWS 解决方案的使用案例
  • 标题
更多…

优势

自动化配置
自动配置必要的 AWS 服务,以轻松捕获、存储、处理和交付流数据。
四种模板选择
您有四种不同的 AWS CloudFormation 模板可以选择。为您的生产环境测试新的服务组合并改进现有的应用程序。
实时使用案例
捕获大量的应用程序日志、分析点击流数据、持续交付到数据湖等。
可自定义的源代码
自定义解决方案的样板代码,然后使用监控功能快速从测试环境转换到生产环境。

技术详情

您可以使用实施指南和随附的 AWS CloudFormation 模板自动部署该架构。

AWS 架构博客
用于存档、重放或分析的 Amazon MSK 备份

本博客文章涵盖了可用于将 MSK 主题备份到 S3 的模式和解决方案,这使客户能够减少 MSK 中的长期数据保留设置。有些客户将长期数据存储在 MSK 中用于数据分析和机器学习工作负载。我们共享模式,以通过卸载 S3 中的主题数据简化此架构并将 S3 用于分析/ML。

阅读博客 
培训
Data Analytics Fundamentals

在本自主进度课程中,您将了解制定数据分析解决方案计划的流程以及所涉及的各种数据分析流程。

立即报名 

此页内容对您是否有帮助?