使用 Spark Connect 在 EKS 上的 Amazon EMR 上运行交互式工作负载

发布于: 2026年9月24日

EKS 上的 Amazon EMR 现已支持使用 Spark Connect 运行交互式 Apache Spark 会话。数据工程师和数据科学家可以通过 Amazon SageMaker 融通式合作开发工作室中的托管式笔记本以及自有 IDE（例如 Jupyter 和 Visual Studio Code）以交互方式开发和调试 Apache Spark 应用程序，同时 Spark 运行在已经运行的 Amazon EKS 集群上。 

交互式会话提供跨越代码单元格和脚本的持久 Spark 上下文，使您能够将本地 Python 代码执行与远程 Spark 操作混合执行。Spark Connect 的客户端-服务器架构将您的应用程序客户端与 Spark 驱动程序解耦，使您能够保留自己偏好的开发环境和工具，同时 Spark 运行在 Amazon EKS 集群上。该架构支持多种工作流，包括临时数据探索以及在部署到生产环境前的增量 PySpark 作业开发。每个会话作为虚拟集群上的容器组（pod）运行，使用您的 AWS Identity and Access Management（IAM）执行角色进行保护，并按项目和用户添加标签。

EKS 上的 Amazon EMR 的 Spark Connect 适用于 EMR 发行版 7.14（Apache Spark 3.5）和 emr-spark-8.1.0（Apache Spark 4.1），并已在所有 AWS 商业区域推出。Amazon SageMaker 融通式合作开发工作室仅在受支持的 AWS 区域提供。

要开始使用，请访问 EKS 上的 Amazon EMR 的 Spark Connect 文档或 Amazon SageMaker 融通式合作开发工作室入门指南。