AWS Glue 宣布全面推出由机器学习提供支持的全新 Glue 数据质量自动监测功能

发布于: 2024年8月8日

AWS Glue 宣布全面推出新的 AWS Glue 数据质量自动监测功能 (Glue DQ)，该功能使用由机器学习提供支持的异常检测算法来检测难以发现的数据质量问题和异常。此功能可以帮助客户主动识别和修复数据质量问题。

数据工程师和分析师使用 Glue DQ 中的规则来测量和监控他们的数据。虽然 Glue DQ 现有的基于规则的方法适用于已知的数据模式，但它可能会遗漏意外的异常。现在，数据工程师和分析师可以使用 Glue DQ 的异常检测功能轻松检测意外的数据质量问题。要使用此功能，客户可以编写规则或分析器，然后在 Glue ETL 中启用异常检测功能。Glue DQ 收集规则和分析器中指定列的统计信息，应用机器学习算法来检测异常，并生成易于理解的可视化观察结果来解释检测到的问题。客户可以使用推荐的规则来捕获异常模式，并提供反馈来调整机器学习模型，以实现更准确的检测。

要了解更多信息，请阅读博客、观看介绍视频或参考文档。此功能已在以下区域推出：美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（俄勒冈州）、欧洲地区（爱尔兰）、欧洲地区（斯德哥尔摩）、欧洲地区（法兰克福）、亚太地区（新加坡）、亚太地区（悉尼）以及亚太地区（东京）。