透過 Spark Connect 在 Amazon EMR on EC2 上執行互動式工作負載
Amazon EMR on EC2 現在支援使用 Spark Connect 的互動式 Apache Spark 工作階段。資料工程師和資料科學家能夠透過 Amazon SageMaker Unified Studio 中的受管筆記本及自有 IDE (例如 Jupyter 和 Visual Studio Code)，以互動方式開發和偵錯 Apache Spark 應用程式，而且每個工作階段都在 EC2 叢集上的專用 EMR 上執行。您也能夠在 EMR 主控台中監控和偵錯作用中和已完成的工作階段。
互動式工作階段可提供持續存在的 Spark 情境，可跨越多個儲存格與指令碼，讓您結合本機 Python 程式碼執行與遠端 Spark 作業。Spark Connect 的用戶端-伺服器架構會將應用程式用戶端與 Spark 驅動程式解耦，讓您能夠保留偏好的開發環境與工具，同時讓 Spark 基礎架構在叢集上執行。此架構支援多種工作流程，包括臨時資料探索、反覆逐步偵錯，以及在部署到生產環境前進行增量 PySpark 作業開發。在可觀測性方面，您可透過 Spark UI 進行即時工作階段監控、透過 Spark History Server 追蹤歷史記錄，以及透過 EMR 主控台或 API/CLI/SDK 管理工作階段。
互動式工作階段適用於提供 Amazon EMR 之所有 AWS 區域 (AWS GovCloud 區域和中國區域除外) 內的 Amazon EMR on EC2，並可搭配適用於 Apache Spark (emr-spark-8.0) 及更高版本的 AWS 執行時期。Amazon SageMaker Unified Studio 體驗適用於支援的區域。若要開始使用，請瀏覽使用 Spark Connect 的互動式工作階段指南或 Amazon SageMaker Unified Studio 入門指南。