AWS Glue Data Quality 向けのデータ品質定義言語 (DQDL) の強化を発表
投稿日:
2024年6月28日
ユーザーは AWS Glue の機能である AWS Glue Data Quality を使用してデータの品質を測定および監視しており、データの正確性を確保するために、DQDL を使用してデータ品質ルールを作成しています。ユーザーは、フィルター条件、除外条件、空の値の検証、複合ルールを含む複雑なビジネスシナリオのルールを作成する機能を必要としています。これまで、ユーザーは CustomSQL ルールタイプでこれらのデータ品質検証を実行する SQL を作成していました。本日、AWS Glue は、データエンジニアがネイティブなルールタイプを使用して複雑なデータ品質ルールを簡単に作成できる DQDL の新しい拡張機能セットを発表しました。DQDL では、以下がサポートされるようになりました。
- ユーザーがルールから特定の値を除外できるようにする NOT 演算子。
- 複雑な正規表現を使わずに不足値をキャプチャするルールを作成するための NULL、EMPTY、WHITESPACES_ONLY などの新しいキーワード。
- ユーザーが高度なビジネスルールを作成するための複合ルール。これにより、これらのルールの評価順序を管理するオプションを指定できるようになりました。
- ルールを適用する前にデータをフィルタリングするための DQDL の WHERE 句。
詳細については、DQDL ガイドを参照してください。
AWS Glue Data Quality は、AWS Glue が利用可能なすべての商用リージョンで利用可能です。詳細については、AWS Glue の製品ページとドキュメントを参照してください。