Amazon SageMaker Unified Studio unterstützt nun die Erstellung und Bewertung von Datenqualitätsregeln
Amazon SageMaker Unified Studio unterstützt nun die Erstellung und Bewertung von Datenqualitätsregeln, basierend auf AWS Glue Data Quality. Dateningenieure, Analysten und Datenwissenschaftler können direkt in SageMaker Unified Studio Datenqualitätsregeln definieren, Regelauswertungen durchführen und die Ergebnisse einsehen – sowohl für Daten im Ruhezustand in Katalogtabellen als auch für Daten während der Übertragung innerhalb von Visual-ETL-Aufträgen. Auf diese Weise können Sie Probleme mit der Datenqualität erkennen, bevor fehlerhafte Daten in Ihre Data Lakes gelangen oder nachgelagerte Analyse- und Machine-Learning-Workloads beeinträchtigen.
Mit dieser neuen Funktion können Sie Regeln unter Verwendung derselben „Data Quality Definition Language“ (DQDL) erstellen, die auch in AWS Glue Data Quality zum Einsatz kommt, und Auswertungen direkt in SageMaker Unified Studio über zwei Workflows hinweg durchführen. Für Daten im Ruhezustand bietet eine eigene Registerkarte „Datenqualität“ bei den Katalogobjekten Funktionen zur Regelerstellung, zur bedarfsgesteuerten oder geplanten Überprüfung sowie detaillierte Ergebnisse zu jedem einzelnen Regel-Durchlauf (bestanden/nicht bestanden). Für Daten während der Übertragung können Sie jedem Visual-ETL-Auftrag eine Transformation zur Datenqualitätsprüfung hinzufügen und die Ergebnisse der Datenqualitätsprüfung im Rahmen der Ausführungsdetails einsehen. Sie können Regelsätze erstellen, die auf Vollständigkeit, Eindeutigkeit, Aktualität, Richtigkeit und andere Aspekte der Datenqualität prüfen.
Diese Funktion ist in allen AWS-Regionen verfügbar, in denen Amazon SageMaker Unified Studio verfügbar ist, sowohl in Domains, die auf dem AWS IAM Identity Center basieren, als auch in IAM-basierten Domains. Weitere Informationen finden Sie in der Dokumentation zu Amazon SageMaker Unified Studio.