O Estúdio Unificado Amazon SageMaker agora oferece suporte à criação de perfis de dados e à detecção de anomalias
O Estúdio Unificado Amazon SageMaker agora oferece suporte à criação de perfis de dados e à detecção de anomalias, com a tecnologia AWS Glue Data Quality. Administradores de dados, engenheiros e analistas podem gerar perfis estatísticos de seus dados para entender sua forma e integridade e acompanhar como essas estatísticas mudam com o tempo. A detecção de anomalias ajuda a identificar quando os pontos de dados se afastam dos padrões históricos sem exigir limites predefinidos ou regras personalizadas. Esses recursos estão disponíveis tanto para dados em repouso nas tabelas do catálogo quanto para dados em trânsito nas tarefas do Visual ETL.
Com esse lançamento, uma guia dedicada ao perfil de dados nas tabelas do catálogo fornece perfis programados e sob demanda que calculam estatísticas em nível de conjunto de dados e em nível de coluna. À medida que o histórico do perfil se acumula, a detecção de anomalias cria uma linha de base do comportamento esperado e sinaliza pontos de dados que estão fora da faixa prevista. Isso é particularmente útil quando você pode não estar ciente de limites específicos ou quando os valores esperados mudam com o tempo e as regras fixas podem ficar obsoletas. Para dados em trânsito, as mesmas estatísticas de perfil e detecção de anomalias estão disponíveis na página de resultados de qualquer trabalho de ETL visual com uma transformação para avaliar a qualidade dos dados.
O novo recurso já está disponível em todas as regiões da AWS que oferecem o Estúdio Unificado Amazon SageMaker. Para saber mais, acesse a documentação do Estúdio Unificado Amazon SageMaker.