Linhagem de dados já está disponível ao público em geral no Amazon DataZone e na próxima geração do Amazon SageMaker
A AWS anuncia a disponibilidade geral da linhagem de dados no Amazon DataZone e da próxima geração do Amazon SageMaker, um recurso que captura automaticamente a linhagem do AWS Glue e do Amazon Redshift para visualizar eventos de linhagem da origem ao consumo. Compatível com o OpenLineage, esse recurso permite que produtores de dados aumentem a linhagem automatizada com eventos de linhagem capturados de sistemas habilitados para OpenLineage ou por meio de API, fornecendo aos consumidores de dados uma visão abrangente da movimentação de dados.
Esse recurso automatiza a captura de linhagem de esquemas e transformações de ativos e colunas de dados das execuções de AWS Glue, Amazon Redshift e Spark em ferramentas para manter a consistência e reduzir os erros. Com a automação incorporada, os administradores de domínio e produtores de dados podem automatizar a captura e o armazenamento de eventos de linhagem quando os dados são configurados para compartilhamento de dados no catálogo de dados corporativos. Os consumidores de dados podem ganhar confiança na origem de um ativo a partir da visão abrangente de sua linhagem, enquanto os produtores de dados podem avaliar o impacto das mudanças em um ativo entendendo seu consumo. Além disso, o recurso de linhagem de dados controla as versões de linhagem para cada evento, permitindo que os usuários visualizem a linhagem a qualquer momento ou comparem as transformações ao longo do histórico de um ativo ou trabalho. Essa linhagem histórica fornece uma compreensão mais profunda de como os dados evoluíram, essencial para solucionar problemas, auditar e validar a integridade dos ativos de dados.
O recurso de linhagem de dados está disponível ao público em geral em todas as regiões da AWS que oferecem o Amazon DataZone e a próxima geração do Amazon SageMaker.
Para saber mais, acesse o Amazon DataZone e a próxima geração do Amazon SageMaker.