AWS Glue Data Quality が異常検出と AWS Glue データカタログへの結果の書き込みをサポート
AWS Glue Data Quality では、カタログベースのデータ品質評価に対する異常検出と、評価結果を AWS Glue データカタログ (GDC) テーブルに書き込む機能をサポートするようになりました。これらの機能は ETL ジョブとカタログ評価の両方で動作するため、ワークフローの種類に関わらず一貫したデータ品質を確保できます。
GDC 向けの異常検出がサポートされたため、明示的なしきい値を指定したルールを記述することなく、機械学習を活用した時系列予測を使用して、GDC テーブルにおける個別の値の数の急激な減少や行数の急増といった、データ統計の予期しない変化を特定できます。これは、データエンジニアが GDC 内の数百におよぶテーブルをモニタリングし、問題を自動的に検出する必要がある場合に特に有用です。
GDC での結果保存機能により、Data Quality によるルールの評価結果、プロファイリングメトリクス、異常予測 (信頼区間付き) が GDC テーブルに書き戻され、すべての品質評価についてクエリ可能な記録が作成されます。評価が ETL ジョブで実行される場合でも、カタログテーブルで直接実行される場合でも、結果はいつでも標準の SQL を使用してクエリできます。
AWS Glue Data Quality の異常検出とカタログ結果の保存は、すべての AWS 商用リージョンと AWS GovCloud (米国) リージョンで利用できます。
使用を開始するには、AWS Glue Data Quality のドキュメントを参照してください。