AWS Glue 数据质量自动监测功能现在支持预处理查询
发布于:
2025年11月25日
今天,AWS 宣布全面推出 AWS Glue 数据质量自动监测功能对预处理查询的支持,让您能够在通过 AWS Glue Data Catalog API 进行数据质量检查之前,对数据进行转换。借助这项功能,您能够在数量质量评估流程中直接创建派生列、根据特定条件筛选数据、执行计算
以及验证两者之间的关系。
对于需要在验证之前进行数据转换的复杂数据质量场景,预处理查询提供了更高的灵活性。您可以创建派生指标(例如根据税费和运费列计算总费用),限制用于数据质量建议的列数,或者筛选数据集以便只在特定数据子集上执行质量检查。这项功能让您无需再单独进行数据预处理步骤,从而简化了数据质量工作流程。
AWS Glue 数据质量自动监测功能支持的预处理查询可通过 AWS Glue Data Catalog API(start-data-quality-rule-recommendation-run 和 start-data-quality-ruleset-evaluation-run)使用,并且已在提供 AWS Glue 数据质量自动监测功能的所有 AWS 商业区域推出。要了解有关预处理查询的更多信息,请参阅 Glue 数据质量自动监测功能文档。