Amazon SageMaker Unified Studio 現在支援資料品質規則編寫與評估功能
Amazon SageMaker Unified Studio 現在支援採用 AWS Glue Data Quality 的資料品質規則撰寫與評估功能。資料工程師、分析師和資料科學家現在可以直接在 SageMaker Unified Studio 中,為儲存在目錄資料表中的靜態資料,以及視覺化的 ETL 工作流程中傳輸中的資料,定義資料品質規則、執行規則集評估,並檢視結果。這可協助您在不良資料進入資料湖,或影響下游分析與機器學習工作負載之前,先找出資料品質問題。
透過這次推出的功能,您可以使用與 AWS Glue Data Quality 相同的資料品質定義語言 (DQDL) 來編寫規則,並直接在 SageMaker Unified Studio 中,透過兩種工作流程執行評估。針對靜態資料,目錄資產中的專屬「資料品質」標籤提供規則編寫、隨需或排程評估,以及每條規則的詳細通過/失敗結果。針對傳輸中的資料,您可以在任何視覺化的 ETL 工作流程中加入「評估資料品質」轉換,並在執行詳細資訊中檢閱資料品質結果。您可以建立規則集,藉此檢查完整性、唯一性、新鮮度、準確性,以及其他資料品質維度。
此功能適用於所有提供 Amazon SageMaker Unified Studio 的 AWS 區域,並支援 AWS IAM Identity Center 型與 IAM 型的網域。若要進一步了解,請瀏覽 Amazon SageMaker Unified Studio 文件。