Calidad de datos de AWS Glue ahora admite el procesamiento previo de consultas
Hoy, AWS anuncia la disponibilidad general de consultas de procesamiento previo para Calidad de datos de AWS Glue. Esto le permite transformar sus datos antes de ejecutar comprobaciones de calidad de los datos a través de las API de catálogo de datos de AWS Glue. Esta característica le permite crear columnas derivadas, filtrar datos en función de condiciones específicas, realizar cálculos y validar las relaciones entre
columnas directamente dentro de su proceso de evaluación de calidad de datos.
Las consultas de procesamiento previo ofrecen una mayor flexibilidad para escenarios complejos de calidad de datos que requieren la transformación de los datos antes de la validación. Puede crear métricas derivadas, como calcular las tarifas totales a partir de las columnas de impuestos y envíos, limitar el número de columnas que se tienen en cuenta para las recomendaciones de calidad de los datos o filtrar los conjuntos de datos para centrar las comprobaciones de calidad en subconjuntos de datos específicos. Esta capacidad elimina la necesidad de pasos separados de procesamiento previo de datos. Esto agiliza los flujos de trabajo de calidad de los datos.
Las consultas de procesamiento previo de Calidad de los datos de AWS Glue están disponibles a través de las API del catálogo de datos de AWS Glue: start-data-quality-rule-recommendation-run y start-data-quality-ruleset-evaluation-run, en todas las regiones comerciales de AWS en las que está disponible Calidad de datos de AWS Glue. Para obtener más información sobre el procesamiento previo de consultas, consulte la documentación sobre la calidad de los datos de Glue.