AWS Glue anuncia la disponibilidad general de la nueva capacidad de calidad de datos de Glue basada en ML
AWS Glue presenta la disponibilidad general de una nueva capacidad de calidad de datos de AWS Glue (Glue DQ) que utiliza algoritmos de detección de anomalías basados en machine learning (ML) para detectar problemas y anomalías de calidad de datos difíciles de encontrar. Esto ayuda a los clientes a identificar y solucionar de forma proactiva los problemas de calidad de los datos.
Los ingenieros y analistas de datos utilizan reglas en Glue DQ para medir y monitorear sus datos. Si bien el enfoque actual basado en reglas de Glue DQ funciona bien para patrones de datos conocidos, puede pasar por alto anomalías inesperadas. Ahora, los ingenieros y analistas de datos pueden usar la capacidad de detección de anomalías de Glue DQ para detectar fácilmente problemas imprevistos de calidad de datos. Para utilizar esta característica, los clientes pueden escribir reglas o analizadores y, a continuación, activar Anomaly Detection (Detección de anomalías) en Glue ETL. Glue DQ recopila estadísticas para las columnas especificadas en las reglas y los analizadores, aplica algoritmos de ML para detectar anomalías y genera observaciones visuales fáciles de entender que explican los problemas detectados. Los clientes pueden usar las reglas recomendadas para capturar los patrones anómalos y hacer comentarios para ajustar el modelo de ML y lograr una detección más precisa.
Para obtener más información, lea el blog, mire el video introductorio o consulte la documentación. Esta capacidad está disponible en las regiones Este de EE. UU. (Norte de Virginia), Este de EE. UU. (Ohio), Oeste de EE. UU. (Oregón), Europa (Irlanda), Europa (Estocolmo), Europa (Fráncfort), Asia-Pacífico (Singapur), Asia-Pacífico (Sídney) y Asia-Pacífico (Tokio).