Publicado: Nov 18, 2021
Os usuários do AWS Glue DataBrew agora podem criar regras de qualidade de dados, que são verificações de validação personalizáveis que definem requisitos de negócios para dados específicos. Você pode criar regras para verificar se há valores duplicados em certas colunas, validar se uma coluna não corresponde a outra ou definir muito mais verificações e condições personalizadas com base em seus casos de uso de qualidade de dados específicos. Você pode agrupar regras para um determinado conjunto de dados em um conjunto de regras para eficiência e aplicar essas verificações como parte de um trabalho de perfil de dados padrão. Os resultados são preenchidos em um painel de qualidade de dados e um relatório de validação, ajudando você a visualizar rapidamente os resultados da regra e determinar se seus dados são adequados para uso.
O AWS Glue DataBrew é uma ferramenta visual de preparação de dados que facilita a limpeza e a normalização de dados usando mais de 250 transformações predefinidas, sem a necessidade de criar código. Você pode automatizar a filtragem de anomalias, converter dados para formatos padrão, corrigir valores inválidos e outras tarefas.
Para começar com o DataBrew, acesse o Console de Gerenciamento da AWS ou instale o plugin do DataBrew em seu ambiente de Notebook. Para saber mais, assista a este vídeo de introdução e consulte a documentação do DataBrew.