La qualité des données d’AWS Glue prend désormais en charge la détection des anomalies et l’écriture des résultats dans le catalogue de données AWS Glue
La qualité des données d’AWS Glue prend désormais en charge la détection des anomalies pour les évaluations de la qualité des données basées sur le catalogue et permet d’écrire les résultats des évaluations dans les tables du catalogue de données AWS Glue (GDC). Ces fonctionnalités fonctionnent à la fois pour les tâches ETL et pour les évaluations de catalogues, vous offrant une expérience de qualité de données cohérente quel que soit le type de flux de travail.
Grâce à la prise en charge de la détection des anomalies pour GDC, vous pouvez identifier des changements inattendus dans les statistiques des données, tels que des baisses soudaines de valeurs distinctes ou des pics de nombre de lignes dans vos tableaux GDC à l’aide de prévisions chronologiques basées sur le ML, sans écrire de règles avec des seuils explicites. Cela est particulièrement utile pour les ingénieurs de données qui surveillent des centaines de tables dans la GDC et qui ont besoin de détecter automatiquement les problèmes.
Grâce au stockage des résultats dans GDC, les résultats des règles de qualité des données, les mesures de profilage et les prédictions d’anomalies (avec des limites de confiance) sont réécrits dans les tables GDC, créant ainsi un enregistrement interrogeable de toutes les évaluations de qualité. Que l’évaluation soit exécutée dans une tâche ETL ou directement sur une table du catalogue, les résultats peuvent être interrogés à tout moment à l’aide du code SQL standard.
La détection des anomalies de la qualité des données d’AWS Glue et le stockage des résultats du catalogue sont disponibles dans toutes les Régions AWS commerciales et les régions AWS GovCloud (US).
Pour commencer, consultez la documentation relative à la qualité des données d’AWS Glue.