发布于: Jun 6, 2023
我们很高兴宣布，除了现有的 StartJobRun API 之外，Amazon EMR on EKS 现在支持 Spark Operator 和 spark-submit 作为 Apache Spark 的新作业提交模式。随着新功能在今日发布，您现已可在 Amazon EMR on EKS 上通过首选的提交模式灵活提交 Apache Spark 作业，而无需更改您的应用程序。
在今日发布之前，您只能通过 StartJobRun API 提交 Apache Spark 作业，包括使用 AWS CLI 和 AWS Controllers for Kubernetes (ACK)。现有 Apache Spark 应用程序运行 Spark Operator 或 spark-submit 的客户必须对其应用程序进行更改才能使用 Amazon EMR on EKS。有了这个功能，您现在无需更改应用程序即可在 EMR on EKS 上运行它们，从 EMR Spark 运行时性能和功能中受益，并使用您已经熟悉的 spark-submit 和 Spark Operator 节省时间。
要了解有关此功能的更多信息，请访问 Spark Operator 和 spark-submit 的开发指南，以及 AWS 大数据博客文章：介绍如何使用 Spark Operator 和 spark-submit 进行 Amazon EMR on EKS 作业提交。Spark Operator 和 spark-submit 受 Amazon EMR on EKS 6.10 及更高版本的支持，现已在目前可以使用 Amazon EMR on EKS 的区域推出。