AWS Glue kündigt die allgemeine Verfügbarkeit einer neuen ML-gestützten Funktion von Glue Data Quality an
AWS Glue kündigt die allgemeine Verfügbarkeit einer neuen AWS Glue Data Quality (Glue DQ)-Funktion an, die ML-gestützte Algorithmen zur Anomalieerkennung verwendet, um schwer zu findende Datenqualitätsprobleme und Anomalien zu erkennen. Dies hilft Kunden, Datenqualitätsprobleme proaktiv zu identifizieren und zu beheben.
Dateningenieure und Analysten messen und überwachen ihre Daten mit Regeln in Glue DQ. Obwohl der bestehende regelbasierte Ansatz von Glue DQ gut für bekannte Datenmuster funktioniert, registriert dieser keine unerwartete Anomalien. Die Funktion „Anomaly Detection“ können Dateningenieure und Analysten jetzt verwenden, um unvorhergesehene Probleme mit der Datenqualität leichter zu erkennen. Um dieses Feature zu verwenden, können Kunden Regeln oder Analyzer schreiben und dann Anomaly Detection in Glue ETL aktivieren. Glue DQ sammelt Statistiken für Spalten, die in Regeln und Analyzern angegeben sind, wendet ML-Algorithmen an, um Anomalien zu erkennen, und generiert leicht verständliche visuelle Beobachtungen, die die erkannten Probleme erklären. Kunden können empfohlene Regeln verwenden, um die anomalen Muster zu erfassen und Feedback zu geben, um das ML-Modell für eine genauere Erkennung zu optimieren.
Für weitere Informationen, besuchen Sie den Blog, schauen Sie das Einführungsvideo oder lesen Sie die Dokumentation. Diese Funktion ist in USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Europa (Irland), Europa (Stockholm), Europa (Frankfurt), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney) und Asien-Pazifik (Tokio) verfügbar.