AWS Glue annonce la disponibilité générale de la nouvelle fonctionnalité de qualité des données de Glue basée sur le ML
AWS Glue annonce la disponibilité générale d'une nouvelle fonctionnalité de qualité des données d’AWS Glue (Glue DQ) qui utilise des algorithmes de détection d'anomalies optimisés par le ML pour détecter les problèmes et anomalies difficiles à détecter en matière de qualité des données. Cette fonctionnalité permet aux clients d'identifier et de résoudre de manière proactive les problèmes de qualité des données.
Les ingénieurs et analystes de données utilisent les règles de Glue DQ pour mesurer et surveiller leurs données. Bien que l'approche existante basée sur les règles de Glue DQ fonctionne bien pour les modèles de données connus, elle peut ignorer des anomalies inattendues. Dorénavant, les ingénieurs et analystes de données peuvent utiliser la fonction de détection des anomalies de Glue DQ pour détecter facilement les problèmes imprévus de qualité des données. Pour utiliser cette fonctionnalité, les clients peuvent écrire des règles ou des analyseurs, puis activer la fonction de détection des anomalies dans Glue ETL. Glue DQ collecte des statistiques pour les colonnes spécifiées dans les règles et les analyseurs, applique des algorithmes de machine learning pour détecter les anomalies et génère des observations visuelles faciles à comprendre qui expliquent les problèmes détectés. Les clients peuvent utiliser les règles recommandées pour capturer les modèles anormaux et fournir des commentaires afin d'ajuster le modèle ML pour une détection plus précise.
Pour en savoir plus, consultez le blog, regardez la vidéo d'introduction ou consultez la documentation. Cette fonctionnalité est disponible dans les régions USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), Europe (Irlande), Europe (Francfort), Europe (Stockholm), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney) et Asie-Pacifique (Tokyo).