宣布在 AWS Glue 中推出 Apache Spark 生成式 AI 升级（预览版）

发布于: 2024年11月22日

AWS Glue 宣布为 Apache Spark 推出生成式 AI 升级，这是一项新的生成式 AI 功能，使数据从业者能够快速升级并现代化其现有的 Spark 作业。该功能由 Amazon Bedrock 提供支持，可自动分析和更新 Spark 脚本和配置，将 Spark 升级所需的时间和工作量从数周减少到几分钟。

AWS Glue 是一项无服务器、可扩展的数据集成服务，它简化了发现、准备及合并数据以进行分析、机器学习和应用程序开发的工作。借助 Spark 升级，您只需在 AWS Glue 控制台中单击一下即可启动自动升级，将 Spark 作业从旧版本升级到 AWS Glue 4.0 版。此功能可以分析基于 Python 的 Spark 作业，并生成详细说明代码变更和配置修改的升级计划。它利用生成式 AI，将测试运行作为 Glue 作业来执行，以迭代方式改进和验证升级后的代码。验证成功后，您将收到所有变更的详细摘要以供审查，从而可以放心地部署升级后的 Spark 作业。这种自动化方法降低了 Spark 升级的复杂性，同时保持了数据管道的可靠性。

Apache Spark 生成式 AI 升级预览版已在以下 AWS 区域面向 AWS Glue 推出：美国东部（俄亥俄州）、美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）、亚太地区（东京）和亚太地区（悉尼）。要了解更多信息，请访问 AWS Glue 网站，参阅发布博客或文档。