发布于: Sep 15, 2023
今天,我们很高兴地宣布,EKS 上的 Amazon EMR 现在支持 Apache Flink,现已提供公开预览版。此次发布后,已经使用 EMR 的客户可以在同一 Amazon EKS 集群上运行他们的 Apache Flink 应用程序以及其他类型的应用程序,从而有助于提高资源利用率和简化基础设施管理。对于已经在 Amazon EKS 上运行大数据框架的客户,他们现在可以让 Amazon EMR 自动进行预置和管理。
Apache Flink 是一个开源框架,客户使用它对高吞吐量数据来源运行实时流处理。在今天的发布之前,客户可以在 EKS 上运行自行管理的 Apache Flink 应用程序,但他们需要手动安装和配置 Apache Flink,这需要深入的了解。随着今日发布,客户只需要安装 Flink Kubernetes 操作符,使用该操作符直接向他们的 EKS 集群提交作业,同时让 EKS 上的 EMR 管理 Apache Flink 应用程序的生命周期。这让客户能够在其应用程序之间共享资源,并使用一组 Kubernetes 工具来集中监控和管理其基础设施。此外,通过此次发布,客户还可以访问关键辅助功能和监控功能,例如在 Amazon S3 中使用 jar 启动 Flink 应用程序、监控与 Amazon S3 和 Amazon CloudWatch 的集成以及容器日志轮换。
2023 年 10 月 5 日 – 这篇文章的先前版本错误地将 EKS 上的 Amazon EMR 上的 Apache Flink 引用为完全托管式产品。我们现在已经更正了这个错误。