适用于 Apache Flink 的亚马逊托管服务文档
适用于 Apache Flink 的亚马逊托管服务让您可以更轻松地使用 Apache Flink 构建和运行实时流处理应用程序。适用于 Apache Flink 的亚马逊托管服务可预置和配置您的 Flink 集群,并编排 Flink 作业管理。它可以设置监控和警报,提供自动扩缩功能,并且专为高可用性(包括可用区失效转移)而设计。该服务提供对 Apache Flink 富有表现力的 API 的访问权限,通过适用于 Apache Flink Studio 的亚马逊托管服务,您只需几个步骤即可以交互方式查询数据流或启动有状态的应用程序。使用此托管服务,您可以开始使用 Apache Flink,并快速部署和操作您的数据流处理应用程序。借助适用于 Apache Flink 的亚马逊托管服务,您可以使用 Apache Flink 的各项功能,包括低延迟和高吞吐量数据处理、恰好一次处理和持久的应用程序状态。适用于 Apache Flink 的亚马逊托管服务旨在帮助您部署安全、合规且高度可用的应用程序。适用于 Apache Flink 的亚马逊托管服务可跨多个可用区复制数据和工作负载。适用于 Apache Flink 的亚马逊托管服务可以简化应用程序开发,因为该服务支持 Flink 的 Java、Scala、Python 和 SQL 语言的灵活 API。适用于 Apache Flink 的亚马逊托管服务与很多数据来源和目标集成,例如 Amazon Managed Streaming for Apache Kafka(Amazon MSK)、Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、Amazon Simple Storage Service(Amazon S3)、Amazon DynamoDB、JDBC 连接器和自定义连接器。
使用 Apache Flink 的流处理应用程序
开源 -适用于 Apache Flink 的亚马逊托管服务包括 Apache Flink、 Apache Beam、Apache Zeppelin 、 AWS SDK 和 AWS 服务集成等开源库。Apache Flink 是旨在构建可用和准确的流式处理应用程序的框架和引擎。Apache Beam 是一个统一模型,用于定义在多个运行时系统引擎上运行的流式处理和批处理数据处理应用程序。AWS 开发工具包以您的首选语言提供 API,无需对许多 AWS 服务进行复杂的代码编写,同时还包含 AWS 库、示例代码和文档。
灵活的 API -适用于 Apache 的亚马逊托管服务 Flink 支持 Java、Scala、Python 和 SQL 中的 Flink 灵活的 API,这些应用程序专门用于不同的用例,包括有状态事件处理、流式 ETL(提取、转换和加载)和实时分析。借助预先构建的运算符和分析功能,您可以构建 Apache Flink 流式处理应用程序,而且这些库是可扩展的,因此您可以对各种应用场景执行实时处理。
AWS 服务集成 -您可以使用最少的代码设置和集成数据源或目标。使用适用于 Apache Flink 的亚马逊托管服务库与以下 AWS 服务集成:
- Amazon S3
- Amazon MSK
- Amazon OpenSearch Service
- Amazon DynamoDB
- Amazon Kinesis Data Streams
- Amazon Kinesis Data Firehose
- Amazon CloudWatch
- AWS Glue Schema Registry
高级集成功能 -除了 AWS 集成外,亚马逊阿帕奇托管服务 Flink 库还包括 40 多个 Apache Flink 连接器以及构建自定义集成的能力。只需几行代码,即可通过高级功能修改各项集成的行为方式。您可以使用一系列 Apache Flink 原语类型来构建自定义集成,这使您可以读取和写入通过互联网访问的文件、目录、套接字或其他资源。
精确处理一次 -使用适用于 Apache Flink 的亚马逊托管服务,您可以构建应用程序,其中处理的记录只影响一次结果,即仅一次处理。即使发生应用程序中断的情况(例如内部服务维护或用户发起的应用程序更新),该服务也将确保所有数据都得到处理,不会存在重复的数据。
状态处理 -该服务将先前和正在进行的计算或状态存储在正在运行的应用程序存储中。比较任何时间周期的实时结果和历史结果,在发生应用程序中断时实现快速恢复。状态始终进行加密,并以增量的方式保存在运行中的应用程序存储中。
持久应用程序备份 -通过简单的 API 调用创建和删除持久应用程序备份。在发生中断后从最新的备份还原应用程序,或者将应用程序还原至较早的版本。
机器学习集成 -适用于 Apache 的亚马逊托管服务 Flink 支持机器学习 (ML) 算法。您可以为分类、聚类、评估、特征工程建议、回归和统计创建实时应用程序。
AWS Glue 架构注册表兼容性 -适用于 Apache Flink 的亚马逊托管服务与 AWS Glue 架构注册表兼容。Schema Registry 可帮助您在作为源连接器或接收器连接器连接到 Apache Kafka、Amazon MSK 或 Amazon Kinesis Data Streams 的适用于 Apache Flink 的亚马逊托管服务工作负载上改善数据质量,并使用管理架构发展的兼容性检查来防止出现意外更改。
其他信息
有关服务控制、安全特征和功能的更多信息,包括有关存储、检索、修改、限制和删除数据的信息(如适用),请参阅 https://docs.aws.amazon.com/index.html。 就 http://aws.amazon.com/agreement 上的 AWS 客户协议或您与 AWS 之间签订的管理您使用 AWS 服务的其他协议而言,此信息不构成文档的一部分。