投稿日: Nov 26, 2023
AWS Glue は、ML を活用した異常検出アルゴリズムを使用して、見つけにくいデータ品質の問題や異常を検出する新しい Glue Data Quality 機能のプレビューを発表しました。これにより、お客様は品質上の問題を事前に特定して修正できるため、データユーザーは自信を持ってビジネス上の意思決定を行うことができます。
データエンジニアとアナリストは、データを測定および監視するためのデータ品質ルールを作成します。ルールは、データに何を期待するかが分かっていればうまく機能します。ただし、ルールでは、欠落値の急激な増加やレコード数の急激な減少などの異常なパターンを識別できません。この新機能により、データエンジニアやアナリストは異常検出アルゴリズムを簡単に有効にして、データ統計を経時的に分析し、これらの異常パターンに関する洞察を得られるようになりました。この新機能では、継続的な監視のためにデータパイプラインに簡単に追加できるルールも推奨されます。詳細については、ブログとドキュメントを参照してください。
この新機能のプレビュー版は、米国東部 (オハイオ)、米国東部 (バージニア北部)、米国西部 (オレゴン)、アジアパシフィック (東京)、欧州 (アイルランド) の AWS リージョンで利用できます。