Amazon EMR unterstützt jetzt native Datenqualitätsprüfungen in Apache Spark-Jobs
Amazon EMR validiert die Datenqualität jetzt nativ innerhalb von Apache Spark-Jobs. Datenentwicklungsteams können Qualitätsprobleme direkt erkennen, bevor schlechte Daten die nachgelagerten Systeme erreichen, ohne eine separate Validierungsinfrastruktur aufbauen oder warten zu müssen. Amazon EMR Data Quality, unterstützt von AWS Glue, ist ohne zusätzliche Kosten erhältlich und verwendet dieselbe deklarative Regelsprache (Data Quality Definition Language) und APIs wie AWS Glue für ein einheitliches Erlebnis auf beiden Engines. Es funktioniert mit Apache Iceberg, Apache Hudi und Delta Lake in den Bereitstellungsmodi EC2, EKS und Serverless.
Mit dieser Funktion können Sie Validierungsregeln in Ihren Spark-Skripten oder Referenzregeln erstellen, die im AWS-Glue-Datenkatalog gespeichert sind, und sie dann in jeder Phase Ihrer Pipeline anwenden, d. h. nach dem Lesen von Daten, während der Transformation oder nach der Verarbeitung. Mit über 30 Regeltypen, einschließlich dynamischer Regeln, die mit historischen Durchläufen verglichen werden, und ML-basierter Anomalieerkennung zur Verfolgung von Abweichungen im Zeitverlauf ohne Angabe fester Schwellenwerte bietet Amazon EMR Data Quality die Flexibilität, das Validierungsframework auszuwählen, das Ihren Anforderungen entspricht. Sie können Maßnahmen ergreifen, z. B. wenn eine Pipeline ausfällt, ungültige Datensätze filtern oder sie auf der Grundlage der Ergebnisse der Qualitätsbewertung in die Quarantäne weiterleiten. Die Ergebnisse werden auf Datensatz-, Regel- und Zeilenebene generiert. So lässt sich leicht erkennen, welche Datensätze oder Regeln die Ursache für Qualitätsmängel sind.
Amazon EMR Data Quality ist in der AWS-Laufzeit für Apache Spark (emr-spark-8.1.0) in allen Regionen von AWS Commercial, AWS GovCloud (USA) und AWS China verfügbar.
Besuchen Sie zunächst die Dokumentation zur Amazon EMR-Datenqualität und fügen Sie den Spark-Skripten Ihrer EMR-Workloads DQDL-Regeln für die Überprüfung der Datenqualität hinzu.