宣佈推出適用於 Amazon EMR 的 Apache Spark 升級代理程式
AWS 宣佈推出 Apache Spark 升級代理程式,這是一項新功能,可加速 Amazon EMR on EC2 與 EMR Serverless 的 Apache Spark 版本升級。該代理程式可透過自動化程式碼分析與轉換,將通常需要數個月的複雜升級流程縮短為數週的專案。組織在 Spark 升級期間,往往需投入大量工程資源分析 API 變更、解決衝突並驗證應用程式。此代理程式引入對話式介面,讓工程師能以自然語言表達升級需求,同時保有對程式碼修改的完全控制權。
Apache Spark 升級代理程式會自動識別 PySpark 和 Scala 應用程式之間的 API 變更和行為修改。工程師可在 SageMaker Unified Studio、Kiro CLI 或選擇的 IDE 中,透過模型上下文協定 (MCP) 相容性直接啟動升級。在升級過程中,代理程式會分析現有程式碼並提出具體修改建議,工程師可以在實作之前檢閱和核准。代理程式會透過資料品質驗證來確保功能正確性。目前,該代理程式支援從 Spark 2.4 升級至 3.5,並在整個升級過程中維持資料處理的準確度。
Apache Spark 升級代理程式現在已在所有提供 SageMaker Unified Studio 的 AWS 區域推出。若要開始使用該代理程式,請前往 SageMaker Unified Studio,然後選取 IDE Spaces 或安裝 Kiro CLI。如需詳細實作指南、參考文件與遷移範例,請參閱文件。