Amazon SageMaker Unified Studio unterstützt jetzt Datenprofilerstellung und Anomalieerkennung
Amazon SageMaker Unified Studio unterstützt jetzt Datenprofilerstellung und Anomalieerkennung auf Basis von AWS Glue Data Quality. Datenverwalter, Ingenieure und Analysten können statistische Profile ihrer Daten erstellen, um deren Form und Vollständigkeit zu verstehen und zu verfolgen, wie sich diese Statistiken im Laufe der Zeit ändern. Die Anomalieerkennung hilft zu erkennen, wenn Datenpunkte von historischen Mustern abweichen, ohne dass vordefinierte Schwellenwerte oder benutzerdefinierte Regeln erforderlich sind. Diese Funktionen sind sowohl für ruhende Daten in Katalogtabellen als auch für Daten verfügbar, die innerhalb von Visual ETL-Aufträgen übertragen werden.
Mit dieser Markteinführung bietet eine spezielle Registerkarte „Datenprofile“ in Katalogtabellen eine bedarfsgesteuerte und geplante Profilerstellung, die Statistiken auf Datensatz- und Spaltenebene berechnet. Wenn sich der Profilverlauf ansammelt, erstellt die Anomalieerkennung eine Grundlage für das erwartete Verhalten und markiert Datenpunkte, die außerhalb des vorhergesagten Bereichs liegen. Dies ist besonders nützlich, wenn Sie bestimmte Schwellenwerte möglicherweise nicht kennen oder wenn sich die erwarteten Werte im Laufe der Zeit ändern und feste Regeln veraltet sein könnten. Für Daten während der Übertragung sind dieselben Profilerstellungsstatistiken und die gleiche Anomalieerkennung auf der Ergebnisseite aller Visual ETL-Jobs mit einer Transformation zur Auswertung der Datenqualität verfügbar.
Diese Funktion ist in allen AWS-Regionen verfügbar, in denen Amazon SageMaker Unified Studio verfügbar ist. Weitere Informationen finden Sie in der Dokumentation zu Amazon SageMaker Unified Studio.