宣布针对 AWS Glue 数据质量自动监测功能发布数据质量定义语言 (DQDL) 增强功能

发布于: 2024年6月28日

AWS Glue 数据质量自动监测功能是 AWS Glue 的一项功能，客户可以使用它来衡量和监控数据质量。他们使用 DQDL 编写数据质量规则，以确保其数据准确无误。客户需要能够为复杂的业务场景编写规则，包括筛选条件、排除条件、空值验证和复合规则。以前，客户编写 SQL 是为了在 CustomSQL 规则类型中执行这些数据质量验证。今天，AWS Glue 宣布针对 DQDL 发布一系列全新增强功能，使数据工程师能够使用原生规则类型轻松编写复杂的数据质量规则。DQDL 现在支持

• NOT 操作符，允许客户在规则中排除某些值。
• 诸如 NULL、EMPTY 和 WHITESPACES_ONLY 的新关键字，用于编写无需复杂正则表达式即可捕获缺失值的规则。
• 复合规则，供客户编写复杂的业务规则。他们现在可以指定选项来管理这些规则的评估顺序。
• DQDL 中的 WHERE 子句，用于在应用规则之前筛选数据。

有关更多信息，请参阅 DQDL 指南。

AWS Glue 数据质量自动监测功能现已在所有可以使用 AWS Glue 的商业区域推出。如需了解更多信息，请访问 AWS Glue 产品页面和我们的文档。