Amazon Kinesis Data Analytics

使用无服务器 Apache Flink 从流数据中获得可行见解

Amazon Kinesis Data Analytics 是使用 Apache Flink 实时转换和分析流数据最简单的方法。Apache Flink 是一种处理数据流的开源框架和引擎。Amazon Kinesis Data Analytics 降低了构建、管理 Apache Flink 应用程序以及与其他 AWS 服务集成的复杂性。

Amazon Kinesis Data Analytics 会处理运行流式处理应用程序所需的任何事项,且会自动扩展以匹配传入数据的大小和吞吐量。使用 Amazon Kinesis Data Analytics 无需管理服务器,没有最低费用或设置成本,且只需为流式处理应用程序使用的资源付费。

申请概念验证或评估支持 >>

优势

强大的实时处理功能

Amazon Kinesis Data Analytics 提供内置功能以筛选、聚合和转换流数据进行高级分析。它以亚秒级的延迟处理流数据,让您能够对传入的数据和事件进行实时分析和响应。

无需管理服务器

Amazon Kinesis Data Analytics 采用无服务器架构;没有要管理的服务器。它不需要您预置或管理任何基础设施即可运行您的流式处理应用程序。Amazon Kinesis Data Analytics 能够根据处理传入数据的需要自动扩展和缩减基础设施。

只需按实际用量付费

使用 Amazon Kinesis Data Analytics,您只需为您的流式处理应用程序使用的处理资源付费。没有最低费用,也没有预付承诺。

易于使用

使用 Amazon Kinesis Data Analytics,只需 3 个简单的步骤即可轻松、快速地构建查询和复杂的流式处理应用程序:设置流式处理数据源、写入查询或流式处理应用程序,然后为已处理的数据设置目标位置。

Amazon Kinesis Data Analytics 包括基于 Apache Flink 的开源库和运行时,使您能够使用自己喜欢的 IDE 在数小时内构建应用程序,而无需耗费数月的时间。可扩展库包括适用于不同使用案例的专用 API,包括有状态事件处理、流式 ETL 和实时分析。您可以使用库与 Amazon Managed Streaming for Apache Kafka (Amazon MSK)、Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、Amazon Elasticsearch Service、Amazon S3、Amazon DynamoDB 等 AWS 服务集成。

使用标准 SQL 执行交互式查询

Amazon Kinesis Data Analytics 提供模板和交互式编辑器,使您能够构建 SQL 查询,并可以通过时间窗口、筛选器等执行连接和聚合操作。您仅需选择适合您分析任务的模板,然后使用 SQL 编辑器编辑提供的代码,以针对具体使用案例对其进行定制。无需编写任何代码,即可将 SQL 结果发送到其他 AWS 服务,如 AWS Lambda、Amazon Kinesis Data Streams 和 Amazon Kinesis Data Firehose。

工作原理

Amazon Kinesis Data Analytics 工作原理

使用案例

流式 ETL

您可以使用 Amazon Kinesis Data Analytics 内置的运算符开发流式提取-转换-加载 (ETL) 应用程序,以转换、聚合和筛选流数据。使用内置连接器,数秒钟内即可轻松地将数据发送到 Amazon Kinesis Data Streams、Amazon Managed Streaming for Apache Kafka (Amazon MSK)、Amazon Elasticsearch Service、Amazon S3、自定义集成等。

了解 John Deere 如何从农业设备中提取 IoT 传感器测量值,将数据实时转换成有用的客户信息,并将转换后的数据加载到数据湖。

实时分析

可以使用标准 SQL 以交互方式查询流数据,并使用 Java 和 Scala 构建 Apache Flink 应用程序以分析数据流。可以计算关键业务和运营指标,刷新内容性能控制面板,并实时大规模地分析客户体验。

查看关于日志监控Web 分析的实时分析解决方案简介。

有状态事件处理

可以开发处理来自一个或多个数据流的事件并触发条件处理和外部操作的应用程序。可以使用标准 SQL 和 Apache Flink 库在数据流中识别异常检测等模式,以处理复杂的事件。

查看 Zynga 如何处理玩家动作触发的游戏事件。

客户

Autodesk 案例研究
Autodesk 通过计算响应时间和错误率峰值等实时监控指标来监控用户体验。
阅读案例研究 
DAZN
实时事件排序和筛选。
观看视频 
ShopFully
事件优先级和对下游应用程序的筛选。
观看视频 
Zynga
Fox 对超级碗等实时视频流事件计算实时观看者分析。
阅读博客文章 
Zynga
Zynga 大规模分析由玩家操作触发的实时游戏事件。
观看视频 
Palringo 案例研究
Palringo 使用实时指标提高用户在移动社区游戏应用程序中的参与度。
阅读案例研究 
Gunosy 博客文章
Gunosy 每分钟处理 500000 多条记录,为最终用户提供快速、个性化的新闻。
阅读博客文章 

Amazon Kinesis Data Analytics 入门

注册 AWS 账户
注册 AWS 账户

立即享受 AWS 免费套餐

阅读入门指南
查看入门指南

通过分步指南了解如何使用 Amazon Kinesis Data Analytics for SQL 或 Amazon Kinesis Data Analytics for Apache Flink

使用 Amazon Kinesis Data Analytics 开始构建
开始构建流式处理应用程序

从 Amazon Kinesis Data Analytics 控制台构建流应用程序。