O AWS Glue Data Quality agora oferece suporte à detecção de anomalias e à gravação de resultados no Catálogo de Dados do AWS Glue
Agora, o AWS Glue Data Quality oferece suporte à detecção de anomalias para avaliações de qualidade de dados baseadas em catálogos e à capacidade de gravar resultados de avaliação em tabelas do Catálogo de Dados do AWS Glue (GDC). Esses recursos funcionam tanto em tarefas de ETL quanto em avaliações de catálogo, oferecendo uma experiência consistente de qualidade de dados, independentemente do tipo de fluxo de trabalho.
Com o suporte à detecção de anomalias para o GDC, você pode identificar mudanças inesperadas nas estatísticas de dados, como quedas repentinas em valores distintos ou picos de contagem de linhas em suas tabelas do GDC usando previsões de séries temporais baseadas em ML, sem escrever regras com limites explícitos. Isso é especialmente valioso para engenheiros de dados que monitoram centenas de tabelas no GDC que precisam resolver problemas automaticamente.
Com o armazenamento de resultados no GDC, os resultados das regras de qualidade de dados, as métricas de criação de perfil e as previsões de anomalias (com limites de confiança) são gravados de volta nas tabelas do GDC, criando um registro consultável de todas as avaliações de qualidade. Independentemente de a avaliação ser executada em uma tarefa ETL ou diretamente em uma tabela do Catalog, os resultados podem ser consultados a qualquer momento usando o SQL padrão.
A detecção de anomalias do AWS Glue Data Quality e o armazenamento de resultados do catálogo estão disponíveis em todas as regiões comerciais da AWS e nas regiões da AWS GovCloud (EUA).
Para começa a usar, acesse a documentação do AWS Glue Data Quality.