Amazon SageMaker Unified Studio がデータ品質ルールの作成と評価のサポートを開始
Amazon SageMaker Unified Studio は、AWS Glue Data Quality を利用したデータ品質ルールの作成と評価をサポートするようになりました。データエンジニア、アナリスト、データサイエンティストは、カタログテーブルに保管中のデータと Visual ETL ジョブ内で転送中のデータの両方について、SageMaker Unified Studio 内で直接、データ品質ルールの定義、ルールセット評価の実行、結果の表示を行えます。これは、不良データがデータレイクに入り込んだり、ダウンストリームの分析や機械学習のワークロードに影響を与えたりする前に、データ品質の問題を発見するのに役立ちます。
今回のリリースにより、AWS Glue Data Quality で使用されているのと同じデータ品質定義言語 (DQDL) を使用してルールを作成し、SageMaker Unified Studio 内で 2 つのワークフローにわたって評価を直接実行できるようになりました。保管中のデータについては、カタログアセット上の専用の [Data Quality] タブで、ルールの作成、オンデマンドまたはスケジュールによる評価、ルールごとの詳細な合格/不合格結果の確認ができます。転送中のデータについては、任意の Visual ETL ジョブに Evaluate Data Quality トランスフォームを追加し、実行詳細の一部としてデータ品質結果を確認できます。完全性、一意性、鮮度、正確性、その他のデータ品質ディメンションをチェックするルールセットを作成できます。
この機能は、Amazon SageMaker Unified Studio が利用可能なすべての AWS リージョンで、AWS IAM アイデンティティセンターベースのドメインと IAM ベースのドメインの両方で使用できます。詳細については、Amazon SageMaker Unified Studio のドキュメントを参照してください。