宣布推出适用于 Amazon EMR 的 Apache Spark 升级代理

发布于: 2025年12月2日

AWS 宣布推出 Apache Spark 升级代理，这是一项新功能，可加速 EC2 和 EMR Serverless 上 Amazon EMR 的 Apache Spark 版本升级。该代理通过自动化代码分析与转换，将通常需耗时数月的复杂升级流程转换为只需几周即可完成的项目。在 Spark 升级期间，各组织往往需要投入大量工程资源来分析 API 变更、解决冲突和验证应用程序。该代理引入了对话式交互界面，工程师可通过自然语言表达升级需求，同时保持对代码修改的全面控制。

Apache Spark 升级代理可自动识别 PySpark 和 Scala 应用程序中的 API 变更和行为修改。工程师可以借助 MCP（模型上下文协议）兼容性直接从 SageMaker 融通式合作开发工作室、Kiro CLI 或其选择的 IDE 启动升级。在升级过程中，代理将分析现有代码并提出具体变更建议，工程师可以在实施之前进行审核和批准。代理将通过数据质量验证来验证功能正确性。代理当前支持从 Spark 2.4 升级到 3.5，并在整个升级过程中保持数据处理的准确性。

Apache Spark 升级代理现已在提供 SageMaker 融通式合作开发工作室的所有 AWS 区域推出。要开始使用该代理，请访问 SageMaker 融通式合作开发工作室并选择 IDE 空间或安装 Kiro CLI。有关详细的实施指南、参考文档和迁移示例，请访问文档。