Publié le: Nov 26, 2023
AWS Glue annonce la version préliminaire d'une nouvelle fonctionnalité Glue Data Quality qui utilise des algorithmes de détection d'anomalies optimisés par le ML pour détecter les problèmes et anomalies difficiles à détecter en matière de qualité des données. Cela permet aux clients d'identifier de manière proactive les problèmes de qualité et de les résoudre, afin que les utilisateurs des données puissent prendre des décisions commerciales en toute confiance.
Les ingénieurs et les analystes de données rédigent des règles de qualité des données pour mesurer et surveiller leurs données. Les règles fonctionnent bien lorsqu'elles savent à quoi s'attendre par rapport aux données. Cependant, les règles ne permettent pas d'identifier des modèles anormaux tels que des augmentations soudaines des valeurs manquantes ou des baisses soudaines du nombre d'enregistrements. Grâce à cette nouvelle fonctionnalité, les ingénieurs et analystes de données peuvent désormais facilement activer les algorithmes de détection des anomalies pour analyser les statistiques des données au fil du temps et générer des informations sur ces modèles anormaux. Cette nouvelle fonctionnalité recommande également des règles qui peuvent être facilement ajoutées aux pipelines de données pour une surveillance continue. Pour plus d'informations, consultez le blog et la documentation.
Cette nouvelle fonctionnalité est disponible en version préliminaire dans les régions AWS suivantes : USA Est (Ohio), USA Est (Virginie du Nord), USA Ouest (Oregon), Asie-Pacifique (Tokyo) et Europe (Irlande).
Pour en savoir plus, consultez la documentation et l'article de blog.