Amazon EMR 現在支援 Apache Spark 作業中的原生資料品質檢查
Amazon EMR 現在會在 Apache Spark 作業中以原生方式驗證資料品質。資料工程團隊可以在不良資料觸達下游系統之前，即時攔截品質問題，無須建置或維護個別的驗證基礎設施。由 AWS Glue 提供技術支援的 Amazon EMR Data Quality 無須額外費用，並使用與 AWS Glue 相同的宣告式規則語言 (Data Quality Definition Language) 和 API，讓兩個引擎享有一致的體驗，且可搭配 Apache Iceberg、Apache Hudi 和 Delta Lake，支援 EC2、EKS 及無伺服器部署模式。
透過此功能，您可以在 Spark 指令碼中撰寫驗證規則，或參照儲存在 AWS Glue Data Catalog 中的規則，然後在管道的任何階段套用這些規則，例如讀取資料後、轉換期間或處理後。Amazon EMR Data Quality 提供 30 多種規則類型，包括可與歷史執行結果進行比較的動態規則，以及用於追蹤隨時間漂移的機器學習式異常偵測 (無須指定固定閾值)，讓您彈性選擇符合需求的驗證架構。您可以根據品質評估結果採取動作，例如使管道失敗、篩選無效的紀錄，或將其路由至隔離區。結果會產生於資料集、規則和資料列層級，讓您輕鬆找出是哪些紀錄或規則導致品質失敗。
Amazon EMR Data Quality 已在所有 AWS 商業、AWS GovCloud (美國) 和 AWS 中國區域的 Apache Spark 適用的 AWS 執行時期 (emr-spark-8.1.0) 推出。
若要開始使用，請瀏覽 Amazon EMR Data Quality 文件，並將用於資料品質驗證的 DQDL 規則新增至您 EMR 工作負載的 Spark 指令碼。