Publicado en: Sep 20, 2023
Calidad de datos de AWS Glue ahora puede identificar los registros que tienen el tipo de regla CustomSQL. Esto permite a los clientes aislar los registros problemáticos de los registros válidos para permitir que solo fluyan datos de alta calidad a sus lagos de datos y almacenes.
Calidad de datos de AWS Glue calcula automáticamente las estadísticas, recomienda reglas de calidad, supervisa la calidad de los datos y alerta a los usuarios cuando detecta una disminución en la calidad. Los clientes pueden crear reglas con más de 25 tipos de reglas de calidad de datos predefinidas para detectar y abordar los datos problemáticos. Uno de estos tipos de reglas es CustomSQL, que permite a los clientes utilizar SQL para crear reglas empresariales complejas a fin de identificar problemas de calidad. Hasta hoy, el tipo de regla CustomSQL identificaba la presencia de registros problemáticos sin identificarlos específicamente. Con esta nueva versión, CustomSQL puede identificar los registros específicos responsables de los errores de las reglas y marcarlos para aislarlos. Esta característica permite que los clientes creen reglas empresariales sólidas en SQL, detecten y aíslen los registros problemáticos y garanticen la entrega de datos de alta calidad a su repositorio de datos.
Para obtener más información, visite nuestra documentación y el blog.
Esta característica está disponible en todas las regiones comerciales de AWS en las que está disponible AWS Glue.