Calidad de datos de AWS Glue ahora admite la detección de anomalías y la escritura de resultados en el catálogo de datos de AWS Glue
Calidad de datos de AWS Glue ahora admite la detección de anomalías para las evaluaciones de la calidad de los datos basadas en catálogos y la capacidad de escribir los resultados de las evaluaciones en las tablas del catálogo de datos de AWS Glue (GDC). Estas capacidades funcionan tanto en trabajos de ETL como en evaluaciones de catálogos, lo que le brinda una experiencia de calidad de datos uniforme independientemente del tipo de flujo de trabajo.
Gracias a la compatibilidad con la detección de anomalías en el GDC, puede identificar cambios inesperados en las estadísticas de datos, como caídas repentinas de distintos valores o picos en el recuento de filas en las tablas del GDC, mediante la previsión de series temporales basada en ML, sin necesidad de escribir reglas con umbrales explícitos. Esto es especialmente valioso para los ingenieros de datos que supervisan cientos de tablas en el GDC y necesitan detectar problemas automáticamente.
Con el almacenamiento de resultados en el GDC, los resultados de las reglas de calidad de los datos, las métricas de creación de perfiles y las predicciones de anomalías (con límites de confianza) se vuelven a escribir en las tablas del GDC, lo que crea un registro consultable de todas las evaluaciones de calidad. Ya sea que la evaluación se ejecute en un trabajo de ETL o directamente en una tabla de catálogo, los resultados se pueden consultar en cualquier momento mediante SQL estándar.
La detección de anomalías en la calidad de datos de AWS Glue y el almacenamiento de los resultados del catálogo están disponibles en todas las regiones comerciales de AWS y en las regiones de AWS GovCloud (EE. UU.).
Para empezar, consulte la documentación sobre la calidad de datos de AWS Glue.