适用于 Amazon Kinesis 的流式处理数据解决方案

一种可以大规模扩展的持久性实时数据流服务，使您能够持续捕获数据以进行处理
查看实施指南

概览

适用于 Amazon Kinesis 的串流数据解决方案提供了多种 AWS CloudFormation 模板，数据在模板中流经生成器、串流存储、使用者和目的地。为支持多种使用案例和业务需求，该解决方案提供了四种 CloudFormation 模板。与适用于 Amazon MSK 的流数据解决方案类似，这些模板已配置为应用最佳实践，从而可使用控制面板和告警来监控功能是否正常以及保护数据。

流数据必须由可大规模扩展，并且能够处理来自数据生成器的大量数据的存储持久捕获。生成器可以是成千上万个数据来源，每个数据来源持续生成流数据，通常同时以小规模（KB）提交记录。

流数据包括多种数据，例如客户使用移动或 Web 应用程序生成的日志文件、网购数据、游戏内玩家活动、社交网络信息、金融交易大厅或地理空间服务，以及来自数据中心内所连接设备或仪器的遥测数据。

此 AWS 解决方案的应用场景
商业智能和分析 数据仓库 数据运维

优势

自动化配置
自动配置必要的 AWS 服务，以轻松捕获、存储、处理和交付流数据。
四种模板选择
您有四种不同的 AWS CloudFormation 模板可以选择。为您的生产环境测试新的服务组合并改进现有的应用程序。
实时使用案例
捕获大量的应用程序日志、分析点击流数据、持续交付到数据湖等。
可自定义的源代码
自定义解决方案的样板代码，然后使用监控功能快速从测试环境转换到生产环境。

技术详情

下图显示您可以使用该解决方案实施指南自动部署的四个 AWS CloudFormation 模板。
  • 选项 1
  • 使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 模板
    选项 1 – 使用 Amazon API Gateway、Kinesis Data Streams 和 AWS Lambda 的 AWS CloudFormation 模板

    相关内容

    AWS 架构博客
    通过 AWS Kinesis、SageMaker 和 Apache Flink 实时进行流中推理

    本博文概括了使用各种 AWS 服务对流化数据完成实时推理的架构。它还介绍了通过 Amazon Kinesis Data Analytics (KDA) 与 Apache Flink 集成异步调用基础服务或数据库。

    阅读完整博客文章 
    培训
    Amazon Kinesis Analytics 简介

    这是关于 Amazon Kinesis Analytics 的初级课程，它可以帮助您使用 SQL 查询流数据或构建整个流应用程序。

    立即报名 
    培训
    Data Analytics Fundamentals

    在本自主进度课程中，您将了解制定数据分析解决方案计划的流程以及所涉及的各种数据分析流程。

    立即报名 
    关于此部署
    版本
    1.7.5
    发布时间
    2023 年 4 月
    作者
    AWS
    预计部署时间
    5-10 分钟
    预估费用
    查看详细信息
    查看实施指南
    下载实施指南  源代码  CloudFormation 模板  订阅 RSS 源 
    部署选项
    准备好开始使用了吗？
    通过在 AWS 管理控制台启动来部署此解决方案
    在 AWS 管理控制台中启动
    此 AWS 解决方案是否可以帮到您？
    是
    否
    提供反馈
  • 选项 2

  • 使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 模板 

    选项 2 – 使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 模板

    相关内容

    AWS 架构博客
    通过 AWS Kinesis、SageMaker 和 Apache Flink 实时进行流中推理

    本博文概括了使用各种 AWS 服务对流化数据完成实时推理的架构。它还介绍了通过 Amazon Kinesis Data Analytics (KDA) 与 Apache Flink 集成异步调用基础服务或数据库。

    阅读完整博客文章 
    培训
    Amazon Kinesis Analytics 简介

    这是关于 Amazon Kinesis Analytics 的初级课程，它可以帮助您使用 SQL 查询流数据或构建整个流应用程序。

    立即报名 
    培训
    Data Analytics Fundamentals

    在本自主进度课程中，您将了解制定数据分析解决方案计划的流程以及所涉及的各种数据分析流程。

    立即报名 
    关于此部署
    版本
    1.7.5
    发布时间
    2023 年 4 月
    作者
    AWS
    预计部署时间
    5-10 分钟
    预估费用
    查看详细信息
    查看实施指南
    下载实施指南  源代码  CloudFormation 模板  订阅 RSS 源 
    部署选项
    准备好开始使用了吗？
    通过在 AWS 管理控制台启动来部署此解决方案
    在 AWS 管理控制台中启动
    此 AWS 解决方案是否可以帮到您？
    是
    否
    提供反馈
  • 选项 3
  • 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 模板
    选项 3 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 模板

    相关内容

    AWS 架构博客
    通过 AWS Kinesis、SageMaker 和 Apache Flink 实时进行流中推理

    本博文概括了使用各种 AWS 服务对流化数据完成实时推理的架构。它还介绍了通过 Amazon Kinesis Data Analytics (KDA) 与 Apache Flink 集成异步调用基础服务或数据库。

    阅读完整博客文章 
    培训
    Amazon Kinesis Analytics 简介

    这是关于 Amazon Kinesis Analytics 的初级课程，它可以帮助您使用 SQL 查询流数据或构建整个流应用程序。

    立即报名 
    培训
    Data Analytics Fundamentals

    在本自主进度课程中，您将了解制定数据分析解决方案计划的流程以及所涉及的各种数据分析流程。

    立即报名 
    关于此部署
    版本
    1.7.5
    发布时间
    2023 年 4 月
    作者
    AWS
    预计部署时间
    5-10 分钟
    预估费用
    查看详细信息
    查看实施指南
    下载实施指南  源代码  CloudFormation 模板  订阅 RSS 源 
    部署选项
    准备好开始使用了吗？
    通过在 AWS 管理控制台启动来部署此解决方案
    在 AWS 管理控制台中启动
    此 AWS 解决方案是否可以帮到您？
    是
    否
    提供反馈
  • 选项 4
  • 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 模板
    选项 4 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 模板
    AWS 架构博客
    通过 AWS Kinesis、SageMaker 和 Apache Flink 实时进行流中推理

    本博文概括了使用各种 AWS 服务对流化数据完成实时推理的架构。它还介绍了通过 Amazon Kinesis Data Analytics (KDA) 与 Apache Flink 集成异步调用基础服务或数据库。

    阅读完整博客文章 
    培训
    Amazon Kinesis Analytics 简介

    这是关于 Amazon Kinesis Analytics 的初级课程，它可以帮助您使用 SQL 查询流数据或构建整个流应用程序。

    立即报名 
    培训
    Data Analytics Fundamentals

    在本自主进度课程中，您将了解制定数据分析解决方案计划的流程以及所涉及的各种数据分析流程。

    立即报名 
    关于此部署
    版本
    1.7.5
    发布时间
    2023 年 4 月
    作者
    AWS
    预计部署时间
    5-10 分钟
    预估费用
    查看详细信息
    查看实施指南
    下载实施指南  源代码  CloudFormation 模板  订阅 RSS 源 
    部署选项
    准备好开始使用了吗？
    通过在 AWS 管理控制台启动来部署此解决方案
    在 AWS 管理控制台中启动
    此 AWS 解决方案是否可以帮到您？
    是
    否
    提供反馈