La calidad de datos de AWS Glue ahora admite estadísticas de distribución para la elaboración de perfiles de datos
La calidad de datos de AWS Glue ahora admite un nuevo analizador de distribución que genera perfiles de distribución de frecuencias para sus datos. Con este nuevo analizador de distribución en el lenguaje de definición de calidad de datos (DQDL), puede generar histogramas para columnas numéricas y distribuciones de valores para columnas categóricas, de fecha y booleanas. Gracias a la compatibilidad con los recuentos de contenedores personalizados, puede explorar la forma y los patrones de sus datos con la granularidad que más le importe a su caso de uso.
Comprender cómo se distribuyen los datos es fundamental para crear canalizaciones de datos confiables. Las estadísticas de distribución lo ayudan a identificar rápidamente la asimetría, los valores atípicos y los patrones inesperados en sus conjuntos de datos, sin necesidad de escribir código personalizado. La capacidad se integra directamente con sus conjuntos de reglas de DQDL existentes, por lo que puede agregar perfiles de distribución junto con las comprobaciones de calidad de los datos actuales en una sola ejecución de evaluación. Las estadísticas de distribución se almacenan en Amazon S3 para consultarlas en el futuro a través de servicios como Amazon Athena, y también se muestran a través de las API, lo que facilita la integración de la información de distribución en los flujos de trabajo de supervisión y las herramientas de visualización, incluido SageMaker Unified Studio.
Las estadísticas de distribución de la calidad de datos de AWS Glue están disponibles en todas las regiones comerciales de AWS y en las regiones de AWS GovCloud (EE. UU.).
Para obtener más información sobre la calidad de los datos de Glue, consulte la documentación sobre la calidad de datos de AWS Glue. Para empezar a usar el Analizador de distribución, consulte la documentación de Analizadores.