AWS Glue Data Quality がデータプロファイリング向けの分布統計のサポートを開始
AWS Glue Data Quality では、データの度数分布プロファイルを生成する新しい Distribution Analyzer をサポートするようになりました。データ品質定義言語 (DQDL) でこの新しい Distribution Analyzer を使用すると、数値型の列についてはヒストグラムを、カテゴリ型、日付型、ブール型の列については値の分布を生成できます。カスタムのビン数をサポートしているため、ユースケースにとって最も重要な粒度でデータの形状やパターンを調査できます。
データがどのように分布しているかを理解することは、信頼性の高いデータパイプラインを構築するための基盤になります。分布統計を使用すると、カスタムコードを記述することなく、データセット全体の歪度、外れ値、予期しないパターンをすばやく特定できます。この機能は既存の DQDL ルールセットに直接統合されるため、1 回の評価実行の中で、現在のデータ品質チェックと合わせて分布プロファイリングを追加できます。分布統計は Amazon S3 に保存され、Amazon Athena などのサービスを使って後からクエリできます。また API を使って取得することもできるため、モニタリングワークフローや SageMaker Unified Studio などの可視化ツールに、分布に関するインサイトを簡単に統合できます。
AWS Glue Data Quality の分布統計は、すべての AWS 商用リージョンと AWS GovCloud (米国) リージョンでご利用いただけます。
Glue Data Quality の詳細については、AWS Glue Data Quality のドキュメントを参照してください。Distribution Analyzer の使用を開始するには、Analyzers のドキュメントを参照してください。