Ankündigung von Verbesserungen der Data Quality Definition Language (DQDL) für AWS Glue Data Quality
Kunden verwenden AWS Glue Data Quality, ein Feature von AWS Glue, um die Qualität ihrer Daten zu messen und zu überwachen. Sie erstellen Datenqualitätsregeln mithilfe von DQDL, um sicherzustellen, dass ihre Daten korrekt sind. Kunden müssen in der Lage sein, Regeln für komplexe Geschäftsszenarien zu erstellen, die Filterbedingungen, Ausschlussbedingungen, Validierungen für leere Werte und zusammengesetzte Regeln enthalten. Zuvor hatten Kunden SQL verwendet, um diese Datenqualitätsüberprüfungen im CustomSQL-Regeltyp durchzuführen. Heute kündigt AWS Glue eine Reihe neuer Verbesserungen für DQDL an, mit denen Dateningenieure auf einfache Weise komplexe Datenqualitätsregeln mithilfe nativer Regeltypen erstellen können. DQDL unterstützt jetzt
- NOT-Operator, der es Kunden ermöglicht, bestimmte Werte in ihrer Regel auszuschließen.
- Neue Schlüsselwörter wie NULL, EMPTY und WHITESPACES_ONLY zum Verfassen von Regeln, die fehlende Werte ohne komplexe reguläre Ausdrücke erfassen.
- Zusammengesetzte Regeln, mit denen Kunden ausgefeilte Geschäftsregeln erstellen können. Sie können jetzt Optionen angeben, um die Auswertungsreihenfolge dieser Regeln zu steuern.
- WHERE-Klausel in DQDL zum Filtern von Daten vor der Regelanwendung.
Weitere Informationen finden Sie im DQDL-Handbuch.
AWS Glue Data Quality ist in allen kommerziellen Regionen verfügbar, in denen AWS Glue verfügbar ist. Weitere Informationen finden Sie auf der Produktseite zu AWS Glue und in unserer Dokumentation.