Publicado: Jul 23, 2021
Agora, o AWS Glue DataBrew permite que os clientes especifiquem quais estatísticas de qualidade de dados gerar automaticamente para conjuntos de dados ao executar um trabalho de perfil. Isso permite que os usuários personalizem estatísticas de perfil de dados, como determinar valores duplicados, correlações e valores atípicos com base na natureza e no tamanho dos seus conjuntos de dados, além de criarem uma visão geral do perfil de dados personalizado apenas com as estatísticas que atendem às suas necessidades.
O DataBrew exibe todas as estatísticas de um trabalho de perfil em um painel de perfil visual e armazena os dados brutos como um objeto JSON em um bucket do Amazon S3. Os clientes podem controlar quais estatísticas mostrar, monitorar a qualidade dos dados recebidos ao longo do tempo e descobrir alterações nos dados em minutos, tudo sem escrever nenhum código. Os clientes também podem configurar alertas automatizados de qualidade de dados usando o DataBrew e o AWS Lambda, conforme descrito nesta postagem do nosso blog.
Para começar, acesse o Console de Gerenciamento da AWS ou instale o plug-in do DataBrew no seu ambiente Notebook e consulte a documentação do DataBrew.