AWS Glue Data Quality unterstützt jetzt die Erkennung von Anomalien und das Schreiben von Ergebnissen in den AWS Glue-Datenkatalog
AWS Glue Data Quality unterstützt jetzt die Erkennung von Anomalien für katalogbasierte Datenqualitätsbewertungen und die Möglichkeit, Bewertungsergebnisse in AWS Glue Data Catalog (GDC) -Tabellen zu schreiben. Diese Funktionen funktionieren sowohl für ETL-Jobs als auch für Katalogauswertungen und bieten Ihnen unabhängig vom Workflow-Typ eine konsistente Datenqualität.
Mit der Unterstützung der Anomalieerkennung für GDC können Sie mithilfe von ML-gestützten Zeitreihenprognosen unerwartete Änderungen in den Datenstatistiken erkennen, z. B. plötzliche Rückgänge bestimmter Werte oder Spitzen bei der Zeilenanzahl in Ihren GDC-Tabellen, ohne Regeln mit expliziten Schwellenwerten schreiben zu müssen. Dies ist besonders nützlich für Dateningenieure, die Hunderte von Tabellen im GDC überwachen und Probleme automatisch erkennen müssen.
Durch die Speicherung der Ergebnisse in GDC werden die Ergebnisse von Datenqualitätsregeln, Profilerstellungsmetriken und Anomalievorhersagen (mit Konfidenzgrenzen) in GDC-Tabellen zurückgeschrieben, wodurch eine abfragbare Aufzeichnung aller Qualitätsbewertungen erstellt wird. Unabhängig davon, ob die Auswertung in einem ETL-Job oder direkt in einer Katalogtabelle ausgeführt wird, können die Ergebnisse jederzeit mit Standard-SQL abgefragt werden.
Die Erkennung von Anomalien bei AWS Glue Data Quality und die Speicherung der Katalogergebnisse sind in allen kommerziellen AWS-Regionen und AWS-GovCloud-Regionen (USA) verfügbar.
Um loszulegen, besuchen Sie die Dokumentation zu AWS Glue Data Quality.