发布于: Sep 20, 2023
AWS Glue 数据质量自动监测功能现在可以识别具有 CustomSQL 规则类型的记录，从而使客户能够将有问题的记录与良好的记录隔离开来，只允许高质量的数据流入其数据湖和仓库。
AWS Glue 数据质量自动监测功能会自动计算统计数据、推荐质量规则、监控数据质量，并在检测到质量下降时提醒用户。客户可以使用超过 25 种预定义的数据质量规则类型来创建规则，以发现和处理有问题的数据。其中一种规则类型是 CustomSQL 规则类型，它使客户能够利用 SQL 来制定复杂的业务规则，以识别质量问题。到目前为止，CustomSQL 规则类型只能确认存在有问题的记录，而不能具体识别它们。在这个新版本中，CustomSQL 规则类型可以查明导致规则失败的特定记录，从而标记它们以进行隔离。此功能使客户能够在 SQL 中创建强大的业务规则，检测和隔离有问题的记录，并保证向其数据存储库提供高质量的数据。
此功能已在推出 AWS Glue 的所有商业 AWS 区域提供。