AWS Glue anuncia a disponibilidade geral do novo recurso Glue Data Quality baseado em machine learning
O AWS Glue anuncia a disponibilidade geral de um novo recurso do AWS Glue Data Quality (Glue DQ) que usa algoritmos de detecção de anomalias baseados em ML para detectar problemas e anomalias de qualidade de dados difíceis de localizar. Isso ajuda os clientes a identificar e corrigir problemas de qualidade de dados de forma proativa.
Os engenheiros e os analistas de dados usam regras no Glue DQ para medir e monitorar seus dados. Embora a abordagem baseada em regras existente do Glue DQ funcione bem para padrões de dados conhecidos, ela pode perder anomalias inesperadas. Agora, engenheiros e analistas de dados podem usar o recurso de Detecção de Anomalias do Glue DQ para detectar facilmente problemas imprevistos de qualidade de dados. Para usar esse atributo, os clientes podem escrever regras ou analisadores e depois ativar a Detecção de Anomalias no Glue ETL. O Glue DQ coleta estatísticas para colunas especificadas em regras e analisadores, aplica algoritmos de machine learning para detectar anomalias e gera observações visuais fáceis de entender que explicam os problemas detectados. Os clientes podem usar as regras recomendadas para capturar os padrões anômalos e fornecer feedback para ajustar o modelo de machine learning para uma detecção mais precisa.
Para saber mais, leia o blog, assista ao vídeo introdutório ou consulte a documentação. Esse recurso está disponível nas regiões Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Europa (Irlanda), Europa (Estocolmo), Europa (Frankfurt), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney) e Ásia-Pacífico (Tóquio).