使用 Spark Connect 在 Amazon EMR on EKS 上執行互動式工作負載
Amazon EMR on EKS 現在支援使用 Spark Connect 的互動式 Apache Spark 工作階段。資料工程師和資料科學家可以在 Amazon SageMaker Unified Studio 中的受管筆記本，以及他們自己的 IDE (例如 Jupyter 和 Visual Studio Code) 中以互動方式開發和偵錯 Apache Spark 應用程式，而 Spark 則在他們已操作的 Amazon EKS 叢集上執行。
互動式工作階段可提供持續存在的 Spark 情境，可跨越多個儲存格與指令碼，讓您結合本機 Python 程式碼執行與遠端 Spark 作業。Spark Connect 的用戶端-伺服器架構會將您的應用程式用戶端與 Spark 驅動程式解耦，讓您在 Spark 於 Amazon EKS 叢集上執行時，仍可維持偏好的開發環境和工具。此架構支援的工作流程包括臨時資料探索，以及在部署至生產環境前的增量 PySpark 作業開發。每個工作階段都會以 Pod 的形式在虛擬叢集上執行，並以您的 AWS Identity and Access Management (IAM) 執行角色保護，以及依專案和使用者加上標籤。
Amazon EMR on EKS 上的 Spark Connect 可與 EMR 版本 7.14 (Apache Spark 3.5) 和 emr-spark-8.1.0 (Apache Spark 4.1) 搭配使用，並在所有 AWS 商業區域提供。Amazon SageMaker Unified Studio 體驗已在支援的 AWS 區域中提供。
若要開始使用，請瀏覽 Amazon EMR on EKS 上的 Spark Connect 文件或 Amazon SageMaker Unified Studio 入門指南。