发布于: Nov 25, 2019

现在,您可以在 AWS 上使用完全托管的服务同时运行 Apache Flink 和 Apache Kafka。AWS 通过 Amazon Kinesis Data Analytics 为 Apache Flink 提供完全托管的服务,因此您可以快速构建并轻松运行复杂的流应用程序。您可以使用这些完全托管的 Apache Flink 应用程序来处理存储在 Apache Kafka 中的流数据。Apache Kafka 在 Amazon VPC 或 Amazon MSK(一种完全托管、高度可用且安全的 Apache Kafka 服务)中运行。

Apache Flink 是处理数据流的分布式框架和引擎。借助 Amazon Kinesis Data Analytics,开发人员可以使用 Apache Flink 构建流应用程序,实现实时转换和分析数据。

Apache Kafka 是一个开源平台,用于构建实时流数据管道和应用程序。借助 Amazon MSK,您可以使用 Apache Kafka API 填充数据湖、将所做更改流式传入和传出数据库,以及为机器学习和分析应用程序提供支持。 

要开始构建第一个应用程序,请访问 AWS 管理控制台,以轻松地将流应用程序附加到 Amazon MSK 集群中。您可以在 Amazon Kinesis Data Analytics 开发人员指南中学习如何构建与 Amazon MSK 集成的 Apache Flink 应用程序。

有关推出 Amazon MSK 和 Amazon Kinesis Data Analytics 的区域的列表,请参阅 AWS 区域表。此集成已在美国东部(弗吉尼亚北部)和欧洲(爱尔兰)推出。此集成即将在其他所有提供 Amazon Kinesis Data Analytics 的区域推出。