AWS Glue Data Quality 推出資料品質定義語言 (DQDL) 的增強功能

張貼日期: 2024年6月28日

客戶可使用 AWS Glue Data Quality (AWS Glue 的功能) 來測量和監控資料品質。客戶可使用 DQDL 撰寫資料品質規則，以確保其資料準確無誤。客戶需要能針對複雜業務場景 (包括篩選條件、排除條件、空值驗證和複合規則) 撰寫規則。以前，客戶會撰寫 SQL 以在 CustomSQL 規則類型中執行這些資料品質驗證。今日，AWS Glue 宣布針對 DQDL 推出一系列全新增強功能，能讓資料工程師輕鬆使用原生規則類型撰寫複雜的資料品質規則。DQDL 現在支援

• NOT 運算子，讓客戶能在其規則中排除特定值。
• 新增關鍵字，例如 NULL、EMPTY 和 WHITESPACES_ONLY，用於撰寫無需複雜規則表達式即可擷取遺漏值的規則。
• 複合規則，讓客戶能夠撰寫複雜的業務規則。客戶現在能指定選項來管理這些規則的評估順序。
• DQDL 中的 WHERE 子句，可在套用規則之前篩選資料。

如需更多資訊，請參閱《DQDL 指南》。

AWS Glue Data Quality 在所有提供 AWS Glue 的商業區域中皆可使用。若要進一步了解，請瀏覽 AWS Glue 產品頁面和我們的文件。