EKS 上的 Amazon EMR 现已支持 Apache Spark 问题排查代理
发布于:
2026年7月10日
EKS 上的 Amazon EMR 现已支持 Apache Spark 问题排查代理。数据工程师现在可通过自然语言来诊断 EKS 上的 EMR 作业失败,接收自动化的根本原因分析和 PySpark 代码建议,而无需手动浏览分布式日志和 Spark History Server 数据。
该代理可分析 Spark History Server 数据、分布式执行程序日志和集群配置,从而确定内存错误、数据倾斜、资源争用和连接失败等问题。通过此次发布,Spark 问题排查代理现已涵盖所有 EMR 部署选项:EC2 上的 EMR、EMR Serverless 和 EKS 上的 EMR。对于失败的作业,可通过“使用人工智能排查问题”选项直接从 EKS 上的 EMR 控制台访问该代理。此外,可通过 MCP(模型上下文协议)使用任何兼容的人工智能编程代理(包括 Kiro、Claude Code 和 Cursor)访问该代理。所有操作均为只读操作,通过 IAM 角色进行身份验证,并记录在 AWS CloudTrail 中。
适用于 EKS 上的 Amazon EMR 的 Spark 问题排查代理已在提供 SageMaker 融通式合作开发工作室的所有 AWS 区域推出。要开始使用,请转至 EKS 上的 EMR 控制台,或者在首选人工智能编程代理中设置 MCP 服务器。有关详细指南,请参阅 EMR 问题排查代理文档。