Amazon EMR ahora admite comprobaciones de calidad de datos nativas en los trabajos de Apache Spark
Amazon EMR ahora valida la calidad de los datos de forma nativa en los trabajos de Apache Spark. Los equipos de ingeniería de datos pueden detectar problemas de calidad en línea antes de que los datos incorrectos lleguen a los sistemas posteriores, sin crear ni mantener una infraestructura de validación independiente. Amazon EMR Data Quality, con tecnología de AWS Glue, está disponible sin costo adicional y utiliza el mismo lenguaje de reglas declarativas (lenguaje de definición de calidad de datos) y las mismas API que AWS Glue para ofrecer una experiencia uniforme en ambos motores, y funciona con Apache Iceberg, Apache Hudi y Delta Lake en los modos de despliegue EC2, EKS y sin servidor.
Con esta función, puede crear reglas de validación en sus scripts de Spark o reglas de referencia almacenadas en el catálogo de datos de AWS Glue y, a continuación, aplicarlas en cualquier etapa de su proceso, es decir, después de leer los datos, durante la transformación o después del procesamiento. Con más de 30 tipos de reglas, incluidas las reglas dinámicas que se comparan con las ejecuciones históricas y la detección de anomalías basada en ML para rastrear las desviaciones a lo largo del tiempo sin especificar umbrales fijos, Amazon EMR Data Quality ofrece la flexibilidad de elegir el marco de validación que se adapte a sus necesidades. Puede tomar medidas como anular una canalización, filtrar los registros no válidos o ponerlos en cuarentena en función de los resultados de la evaluación de calidad. Los resultados se producen a nivel de conjunto de datos, reglas y filas, para que pueda identificar fácilmente qué registros o reglas están provocando los fallos de calidad.
Amazon EMR Data Quality está disponible en la versión ejecutable de AWS para Apache Spark (emr-spark-8.1.0) en todas las regiones comerciales de AWS, en AWS GovCloud (EE. UU.) y en AWS China.
Para empezar, consulte la documentación de calidad de datos de Amazon EMR y añada reglas de DQDL para la validación de la calidad de los datos a los scripts de Spark de sus cargas de trabajo de EMR.