Presentamos las mejoras de Data Quality Definition Language (DQDL) para la calidad de datos de AWS Glue
Los clientes utilizan la calidad de datos de AWS Glue, una característica que permite medir y supervisar la calidad de sus datos. Crean reglas de calidad de datos utilizando DQDL para garantizar que sus datos sean precisos. Los clientes necesitan la capacidad de crear reglas para escenarios empresariales complejos que incluyan condiciones de filtrado, condiciones de exclusión, validaciones de valores vacíos y reglas compuestas. Anteriormente, los clientes creaban en SQL para realizar estas validaciones de calidad de datos en el tipo de regla CustomSQL. Hoy, AWS Glue anuncia un nuevo conjunto de mejoras en DQDL que permiten a los ingenieros de datos crear fácilmente reglas de calidad de datos complejas utilizando tipos de reglas nativas. DQDL ahora es compatible con:
- NOT operator que permite a los clientes excluir ciertos valores de su regla.
- Nuevas palabras clave como NULL, EMPTY y WHITESPACES_ONLY para crear reglas que capturen los valores que faltan sin expresiones regulares complejas.
- Reglas compuestas para que los clientes puedan crear reglas empresariales sofisticadas. Ahora pueden especificar opciones para gestionar el orden de evaluación de estas reglas.
- La cláusula WHERE en DQDL para filtrar los datos antes de aplicar las reglas.
Consulte la guía de DQDL para obtener más información.
La calidad de datos de AWS Glue está disponible en todas las regiones comerciales en las que AWS Glue está disponible. Para obtener más información, visite la página del producto de AWS Glue y nuestra documentación.