AWS Glue Data Quality unterstützt jetzt Vorverarbeitungsabfragen
AWS hat heute die allgemeine Verfügbarkeit von Vorverarbeitungsabfragen für AWS Glue Data Quality angekündigt, mit der Sie Ihre Daten transformieren können, bevor Sie Datenqualitätsprüfungen über die AWS-Glue-Datenkatalog-APIs durchführen. Mit diesem Feature können Sie abgeleitete Spalten erstellen, Daten anhand bestimmter Bedingungen filtern, Berechnungen durchführen und Beziehungen zwischen
Spalten direkt in Ihrem Bewertungsprozess der Datenqualität validieren.
Vorverarbeitungsabfragen bieten mehr Flexibilität für komplexe Datenqualitätsszenarien, bei denen die Daten vor der Validierung transformiert werden müssen. Sie können abgeleitete Metriken erstellen, z. B. die Gesamtgebühren anhand von Steuer- und Versandspalten berechnen, die Anzahl der Spalten einschränken, die für Datenqualitätsempfehlungen berücksichtigt werden, oder Datensätze filtern, um Qualitätsprüfungen auf bestimmte Datenteilmengen zu konzentrieren. Diese Funktion macht separate Datenvorverarbeitungsschritte überflüssig und optimiert Ihre Datenqualitäts-Workflows.
Vorverarbeitungsabfragen in AWS Glue Data Quality sind über die AWS-Glue-Datenkatalog-APIs „start-data-quality-rule-recommendation-run“ und „start-data-quality-ruleset-evaluation-run“ in allen kommerziellen AWS-Regionen verfügbar, in denen AWS Glue Data Quality verfügbar ist. Weitere Informationen zu Vorverarbeitungsabfragen finden Sie in der Glue Data Quality-Dokumentation.