AWS Glue Data Quality 現在支援用於資料剖析的分佈統計資料
AWS Glue Data Quality 現在支援全新的 Distribution Analyzer,可為您的資料產生頻率分佈設定檔。使用 Data Quality Definition Language (DQDL) 中這個全新的 Distribution Analyzer,您可以為數值欄產生直方圖,以及為類別、日期和布林值欄產生值分佈。透過支援自訂分箱計數,您可以依最符合使用案例需求的精細程度,探索資料的形狀和模式。
瞭解資料的分佈方式,是建置可靠資料管道的基礎。分佈統計資料可協助您快速識別資料集中的偏態、離群值和非預期模式,無需撰寫自訂程式碼。這項功能可直接整合至您現有的 DQDL 規則集,因此您可以在單次評估執行中,將分佈剖析加入目前的資料品質檢查。分佈統計資料會儲存在 Amazon S3,供日後透過 Amazon Athena 等服務查詢,也會透過 API 顯示,讓您可輕鬆將分佈洞見整合至監控工作流程和視覺化工具,包括 SageMaker Unified Studio。
AWS Glue Data Quality 分佈統計資料適用於所有商業 AWS 區域和 AWS GovCloud (美國) 區域。
若要進一步瞭解 Glue Data Quality,請造訪 AWS Glue Data Quality 文件。若要開始使用 Distribution Analyzer,請造訪 Analyzers 文件。