宣布在 AWS Glue 中推出 Apache Spark 生成式 AI 故障排除（预览版）

发布于: 2024年11月22日

AWS Glue 宣布推出一项新功能，即 Apache Spark 生成式 AI 故障排除，该功能可帮助数据工程师和科学家快速发现并解决 Spark 作业中的问题。Spark 故障排除使用机器学习和生成式 AI 技术为 Spark 作业问题提供自动根本原因分析，并提供切实可行的建议用于修复已发现的问题。

AWS Glue 是一项无服务器、可扩展的数据集成服务，它简化了发现、准备及合并数据以进行分析、机器学习和应用程序开发的工作。通过 Spark 故障排除，您只需在 AWS Glue 控制台中单击一下即可开始自动分析失败的作业。此功能为难以诊断的 Spark 问题（例如内存错误、数据偏差问题和未发现资源的异常情况）提供根本原因分析和修复步骤。这可以帮助您减少关键数据管道的停机时间。Spark 故障排除由 Amazon Bedrock 提供支持，可将调试时间从几天缩短到几分钟。

Apache Spark 生成式 AI 故障排除预览版适用于在 AWS Glue 4.0 上运行的作业，并且已在以下 AWS 区域推出：美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）、欧洲地区（爱尔兰）、美国东部（俄亥俄州）等。要了解更多信息，请访问 AWS Glue 网站，参阅发布博客或文档。