Amazon SageMaker Unified Studio でデータプロファイリングと異常検知が利用可能に
Amazon SageMaker Unified Studio では、AWS Glue Data Quality を利用したデータプロファイリングと異常検知がサポートされるようになりました。データスチュワード、エンジニア、アナリストは、データの統計プロファイルを生成して、その形状と完全性を把握し、これらの統計値が時間の経過とともにどのように変化するかを追跡できます。異常検知を使用すると、事前定義されたしきい値やカスタムルールを必要とせずに、データポイントが過去のパターンから逸脱した場合を特定できます。これらの機能は、カタログテーブル内の保管中のデータと、Visual ETL ジョブ内で転送中のデータの両方で利用できます。
今回のリリースにより、カタログテーブルの専用 [Data profile] タブで、オンデマンドおよびスケジュールされたプロファイリングを実行し、データセットレベルおよび列レベルの統計を計算できます。プロファイル履歴が蓄積されると、異常検知によって期待される動作のベースラインが構築され、予測範囲外にあるデータポイントにフラグが付けられます。これは、特定のしきい値が不明な場合や、期待値が時間の経過とともに変化して固定ルールが古くなる可能性がある場合に特に有用です。転送中のデータについても、データ品質を評価する変換を含む任意の Visual ETL ジョブの結果ページで、同じプロファイリング統計と異常検知を利用できます。
この機能は、Amazon SageMaker Unified Studio が提供されているすべての AWS リージョンでご利用いただけます。詳細については、Amazon SageMaker Unified Studio のドキュメントをご覧ください。