宣布 Amazon Kinesis Data Analytics 已更名为适用于 Apache Flink 的亚马逊托管服务



今天，我们宣布将 Amazon Kinesis Data Analytics 更名为适用于 Apache Flink 的亚马逊托管服务，这是一项完全托管的无服务器服务，供您使用 Apache Flink 构建和运行实时串流应用程序。

我们将继续在您的 Flink 应用程序中提供相同的体验，不会对正在进行的运营、开发或业务用例产生任何影响。您在 Kinesis Data Analytics 中运行的所有现有应用程序都将按原样运行，无需进行任何更改。

许多客户使用 Apache Flink 进行数据处理，包括通过充满活力的开源社区为各种用例提供支持。尽管 Apache Flink 应用程序稳健可靠且很受欢迎，但由于它们需要扩展和协调并行计算或容器资源，因此可能很难管理。随着数据量、数据类型和数据来源的爆炸式增长，客户需要一种更简单的方法来访问、处理、保护和分析数据，以便在不影响性能和成本的情况下更快、更深入地获得见解。

使用适用于 Apache Flink 的亚马逊托管服务，您可以用最少的代码设置和集成数据来源或目标，以亚秒级的延迟持续处理来自数百个数据来源（例如 Amazon Kinesis Data Streams 和 Amazon Managed Streaming for Apache Kafka（Amazon MSK）的数据，并实时响应事件。适用于 Apache Flink Studio 的亚马逊托管服务内置了由 Apache Zeppelin 提供支持的可视化效果，使用该服务，只需点击几下即可通过笔记本以交互方式分析流数据。

借助适用于 Apache Flink 的亚马逊托管服务，您可以部署安全、合规且高度可用的应用程序。无需管理服务器和集群，也无需设置计算和存储基础设施，只需为应用程序消耗的资源付费。

对 Apache Flink 的支持历史
自从 2016 年推出基于专有 SQL 引擎的 Amazon Kinesis Data Analytics 以来，我们了解到，仅靠 SQL 不足以为客户提供高效的有状态流处理所需的功能。因此，我们开始投资 Apache Flink，这是一款流行的开源框架和引擎，用于处理实时数据流。

2018 年，我们以可编程选项的形式为适用于 Java 的 Amazon Kinesis Data Analytics 提供支持，使客户能够使用 Apache Flink 库来构建串流应用程序，并选择他们自己的集成式开发环境（IDE）来构建应用程序。2020 年，我们将适用于 Java 的 Amazon Kinesis Data Analytics 重新定位为适用于 Apache Flink 的 Amazon Kinesis Data Analytics，以强调我们对 Apache Flink 的持续支持。2021 年，我们推出了 Kinesis Data Analytics Studio（现在为适用于 Apache Flink 的亚马逊托管服务），它采用大家熟悉的简单笔记本界面，由 Apache Zeppelin 提供支持并使用 Apache Flink 作为处理引擎，便于快速进行开发。

2019 年以来，我们与 Apache Flink 社区的合作更加紧密，增加了在适用于 Apache Flink 的 AWS 连接器领域的代码贡献，例如对 Kinesis Data Streams 和 Kinesis Data Firehose 的代码贡献，并赞助了一年一度的 Flink Forward 活动。最近，我们为 Flink 1.15 版本贡献了 Async Sink，该版本提高了云端互操作性，增加了更多接收器连接器和格式以及其他更新。

除了连接器之外，我们还将继续与 Flink 社区合作，为可用性改进和部署选项做出贡献。要了解更多信息，请参阅 AWS 开源博客中的使用 Apache Flink 更轻松地构建连接器：Async Sink 简介。

适用于 Apache Flink 的亚马逊托管服务中的新功能
正如我前面提到的，您可以继续在 Kinesis Data Analytics（现在为 Amazon Managed Apache Flink）中运行现有的 Flink 应用程序，而无需进行任何更改。我想向您介绍该服务的一部分以及控制台变更和新功能，一个只需单击一下即可创建端到端数据管道的蓝图。

首先，您可以直接在 AWS 的“分析”部分下使用适用于 Apache Flink 的亚马逊托管服务的新控制台。开始使用时，您可以在新控制台中轻松创建串流应用程序或 Studio 笔记本，并获得与以前相同的体验。

要在新控制台中创建串流应用程序，请选择从头开始创建或使用蓝图。有了新的蓝图选项，您可以使用 AWS CloudFormation 在单个步骤中创建和设置入门所需的所有资源。

该蓝图是 Apache Flink 应用程序的精选集合。其中第一个包含从 Kinesis Data Stream 读取并写入 Amazon Simple Storage Service（Amazon S3）存储桶的演示数据。

创建演示应用程序后，您可以配置、运行和打开 Apache Flink 控制面板，以监控 Flink 应用程序的运行状况，并获得与以前相同的体验。您可以更改 GitHub 存储库中的代码示例，以便在自己的本地开发环境中使用 Flink 库执行不同的操作。

蓝图设计为具有可扩展性，您可以利用蓝图来创建更复杂的应用程序，从而基于适用于 Apache Flink 的亚马逊托管服务解决您的业务挑战。在 AWS 文档中了解有关如何使用 Apache Flink 库的更多信息。

您也可以使用蓝图创建 Studio 笔记本，将 Apache Zeppelin 作为新的设置选项。借助这个新的蓝图选项，您还可以使用 AWS CloudFormation 在单个步骤中创建和设置入门所需的所有资源。

该蓝图包括 Apache Flink 应用程序，其演示数据将发送到 Amazon MSK 主题并在适用于 Apache Flink 的托管服务中读取。使用 Apache Zeppelin 笔记本，您可以查看、查询和分析您的串流数据。部署蓝图和设置 Studio 笔记本大约需要十分钟。我们可以在设置期间喝杯咖啡！

创建新的 Studio 笔记本后，您可以打开 Apache Zeppelin 笔记本以在其中运行 SQL 查询，体验与以前并无二致。您可以在 GitHub 存储库中查看代码示例，以详细了解如何使用 Apache Flink 库。

您可以对这些演示数据运行更多 SQL 查询，例如用户定义的函数、翻滚和跳跃窗口、Top-N 查询以及将数据传送到 S3 存储桶进行流式处理。

您还可以使用 Java、Python 或 Scala 来加强 SQL 查询的功能，并将笔记部署为持续运行的应用程序，如博客文章如何使用 Studio 笔记本和查询 Amazon MSK 主题中所述。

要了解更多蓝图示例，请参阅 GitHub 存储库，例如从 MSK Serverless 读取并写入 Amazon S3、从 MSK Serverless 读取并写入 MSK Serverless，以及从 MSK Serverless 读取并写入 Amazon S3。

现已推出
您现在可以使用适用于 Apache Flink 的亚马逊托管服务（原先称为 Amazon Kinesis Data Analytics）。您在 Kinesis Data Analytics 中运行的所有现有应用程序都将按原样运行，无需进行任何更改。

要了解更多信息，请访问新产品页面和开发人员指南。您可以向适用于 Apache Flink 的亚马逊托管服务的 AWS re:Post 发送反馈，也可以通过您常用的 AWS Support 联系方式发送反馈。

— Channy