Amazon EMR prend désormais en charge les contrôles natifs de la qualité des données dans les tâches Apache Spark
Amazon EMR valide désormais la qualité des données de manière native dans les tâches Apache Spark. Les équipes d’ingénierie des données peuvent détecter les problèmes de qualité en ligne avant que les données erronées n’atteignent les systèmes en aval, sans créer ni gérer une infrastructure de validation distincte. Amazon EMR Data Quality, optimisé par AWS Glue, est disponible sans frais supplémentaires et utilise le même langage de règles déclaratives (Data Quality Definition Language) et les mêmes API qu’AWS Glue pour une expérience cohérente sur les deux moteurs. Il fonctionne avec Apache Iceberg, Apache Hudi et Delta Lake dans les modes de déploiement EC2, EKS et sans serveur.
Grâce à cette caractéristique, vous pouvez créer des règles de validation dans vos scripts Spark ou des règles de référence stockées dans le Catalogue de données AWS Glue, puis les appliquer à n’importe quel stade de votre pipeline, c.-à-d. après la lecture des données, pendant la transformation ou après le traitement. Avec plus de 30 types de règles, y compris des règles dynamiques qui comparent les exécutions historiques et une détection des anomalies basée sur le ML pour suivre la dérive dans le temps sans spécifier de seuils fixes, Amazon EMR Data Quality offre la flexibilité de choisir le cadre de validation qui répond à vos besoins. Vous pouvez prendre des mesures telles que l’échec d’un pipeline, filtrer les enregistrements non valides ou les mettre en quarantaine en fonction des résultats de l’évaluation de la qualité. Les résultats sont produits au niveau du jeu de données, de la règle et de la ligne, afin que vous puissiez facilement identifier les enregistrements ou les règles à l’origine des problèmes de qualité.
Amazon EMR Data Quality est disponible sur AWS Runtime pour Apache Spark (emr-spark-8.1.0) dans toutes les Régions AWS commerciales, AWS GovCloud (US) et AWS Chine.
Pour commencer, consultez la documentation relative à Amazon EMR Data Quality et ajoutez des règles DQDL pour la validation de la qualité des données aux scripts Spark de vos charges de travail EMR.