Publicado: Sep 20, 2023
Agora, o AWS Glue Data Quality pode identificar registros que têm o tipo de regra CustomSQL, permitindo que os clientes isolem os registros problemáticos dos registros normais para que somente dados de alta qualidade fluam para data lakes e warehouses.
O AWS Glue Data Quality calcula automaticamente estatísticas, recomenda regras de qualidade, monitora a qualidade dos dados e alerta os usuários quando detecta um declínio na qualidade. Os clientes podem criar regras usando mais de 25 tipos de regras de qualidade de dados predefinidos para identificar e resolver dados problemáticos. Um desses tipos de regra é o CustomSQL, que permite que os clientes utilizem SQL para criar regras de negócio complexas a fim de identificar problemas de qualidade. Até hoje, o tipo de regra CustomSQL identificava a presença de registros problemáticos sem identificá-los especificamente. Com esta nova versão, o tipo de regra CustomSQL pode identificar os registros específicos responsáveis pelas falhas de regras, sinalizando-os para isolamento. Esse recurso permite que os clientes criem regras de negócios robustas em SQL, detectem e isolem registros problemáticos e garantam a entrega de dados de alta qualidade ao repositório de dados.
Para saber mais, consulte nossa documentação e a publicação do blog.
Esse recurso está disponível em todas as regiões comerciais da AWS em que o AWS Glue é oferecido.