Veröffentlicht am: Nov 26, 2023
AWS Glue kündigt eine Vorschau einer neuen Glue-Datenqualitätsfunktion an, die ML-gestützte Algorithmen zur Erkennung von Anomalien verwendet, mit denen schwer zu findende Datenqualitätsprobleme und Anomalien erkannt werden. Dies hilft Kunden, Qualitätsprobleme proaktiv zu erkennen und zu beheben, sodass Datennutzer fundierte Geschäftsentscheidungen treffen können.
Dateningenieure und Analysten schreiben Datenqualitätsregeln, um ihre Daten zu messen und zu überwachen. Regeln funktionieren gut, wenn bekannt ist, was von den Daten erwartet werden kann. Regeln können jedoch keine anomalen Muster wie einen plötzlichen Anstieg fehlender Werte oder einen plötzlichen Rückgang der Datensatzanzahl identifizieren. Mit dieser neuen Funktion können Dateningenieure und Analysten nun ganz einfach Algorithmen zur Erkennung von Anomalien aktivieren, um Datenstatistiken im Zeitverlauf zu analysieren und Erkenntnisse über diese anomalen Muster zu gewinnen. Diese neue Funktion empfiehlt zudem Regeln, die zwecks laufender Überwachung problemlos zu Datenpipelines hinzugefügt werden können. Weitere Informationen finden Sie im Blog und in der Dokumentation.
Diese neue Funktion ist jetzt als Vorversion in den folgenden AWS-Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Tokio) und Europa (Irland).
Um mehr zu erfahren, lesen Sie die Dokumentation und den Blogbeitrag.