AWS Glue 宣布全新採用 ML 技術的 Glue Data Quality 功能正式上市

張貼日期: 2024年8月8日

AWS Glue 宣布新的 AWS Glue Data Quality (Glue DQ) 功能正式上市，該功能使用 ML 支援的異常偵測演算法來偵測難以發現的資料品質問題和異常狀況。這有助於客戶主動識別並修復資料品質問題。

資料工程師和分析師使用 Glue DQ 中的規則來測量和監控他們的資料。雖然 Glue DQ 現有的規則型方法適用於已知的資料模式，但它可能會錯過非預期的異常狀況。現在，資料工程師和分析師可以使用 Glue DQ 的異常偵測功能，輕鬆偵測意料之外的資料品質問題。若要使用此功能，客戶可以編寫規則或分析器，然後在 Glue ETL 中開啟異常偵測。Glue DQ 收集規則和分析器中指定的欄位統計資料，套用 ML 演算法來偵測異常狀況，並產生易於理解的視覺觀察解釋偵測到的問題。客戶可以使用建議的規則來擷取異常模式，並提供意見回饋以調整 ML 模型以進行更準確的偵測。

若要進一步了解，請閱讀部落格、觀看介紹影片或參考文件。此功能適用於美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (奧勒岡)、歐洲 (愛爾蘭)、歐洲 (斯德哥爾摩)、歐洲 (法蘭克福)、亞太地區 (新加坡)、亞太地區 (雪梨) 和亞太地區 (東京)。