Amazon EMR が Apache Spark ジョブのネイティブデータ品質チェックのサポートを開始
Amazon EMR が Apache Spark ジョブ内でネイティブにデータ品質を検証するようになりました。データエンジニアリングチームは、個別の検証インフラストラクチャを構築または維持しなくても、不良データがダウンストリームシステムに到達する前にインラインで品質上の問題を検出できます。AWS Glue を搭載した Amazon EMR Data Quality は追加料金なしで利用でき、AWS Glue と同じ宣言型ルール言語 (データ品質定義言語 (DQDL)) と API を使用して両方のエンジンで一貫したエクスペリエンスを実現しています。また、EC2、EKS、サーバーレスのデプロイモードで Apache Iceberg、Apache Hudi、Delta Lake と連携します。
この機能を使用すると、Spark スクリプトで検証ルールを作成したり、AWS Glue データカタログに保存されている参照ルールを作成したりして、パイプラインの任意の段階 (データの読み取り後、変換中、処理後など) に適用できます。Amazon EMR Data Quality では、実行履歴と比較する動的ルールや、固定のしきい値を指定せずに経時的なドリフトを追跡できる ML ベースの異常検出など、30 種類以上のルールが用意されているため、ニーズに合った検証フレームワークを柔軟に選択できます。品質評価結果に基づいて、パイプラインを失敗させる、無効なレコードをフィルタリングする、隔離環境へルーティングするなどのアクションを実行できます。結果はデータセット、ルール、行レベルで生成されるため、どのレコードまたはルールが品質障害の原因となっているかを簡単に特定できます。
Amazon EMR Data Quality は、すべての AWS 商用リージョンと AWS GovCloud (米国) および AWS 中国リージョンの Apache Spark (emr-spark-8.1.0) 用 AWS ランタイムでご利用いただけます。
使用を開始するには、Amazon EMR Data Quality のドキュメントを参照し、EMR ワークロードの Spark スクリプトにデータ品質検証用の DQDL ルールを追加してください。