使用 Spark Connect 在 EC2 上的 Amazon EMR 上运行交互式工作负载

发布于: 2026年8月4日

EC2 上的 Amazon EMR 现已支持使用 Spark Connect 运行交互式 Apache Spark 会话。数据工程师和数据科学家可以通过 Amazon SageMaker 融通式合作开发工作室中的托管式笔记本以及自有 IDE（例如 Jupyter 和 Visual Studio Code）以交互方式开发和调试 Apache Spark 应用程序，每个会话在 EC2 集群上的专用 EMR 上运行。您还可以在 EMR 控制台中监控和调试活动会话和已完成会话。

 

交互式会话提供跨越代码单元格和脚本的持久 Spark 上下文，使您能够将本地 Python 代码执行与远程 Spark 操作混合执行。Spark Connect 的客户端-服务器架构将您的应用程序客户端与 Spark 驱动程序解耦，使您能够保留自己偏好的开发环境和工具，同时 Spark 基础设施在集群上运行。该架构支持多种工作流，包括临时数据探索、迭代式分步调试，以及在部署到生产环境前的增量 PySpark 作业开发。在可观测性方面，您可以通过 Spark UI 进行实时会话监控，通过 Spark History Server 追踪历史记录，并从 EMR 控制台或 API/CLI/SDK 进行会话管理。

 

搭载适用于 Apache Spark 的 AWS 运行时（emr-spark-8.0 及更高版本）的 EC2 上的 Amazon EMR，可在提供 Amazon EMR 的所有 AWS 区域（AWS GovCloud 区域和中国区域除外）中使用交互式会话。Amazon SageMaker 融通式合作开发工作室体验仅在支持的区域提供。要开始使用，请访问使用 Spark Connect 进行交互式会话指南或 Amazon SageMaker 融通式合作开发工作室入门指南。