Amazon SageMaker contribui com um transporte personalizado para a comunidade OpenLineage e oferece recursos adicionais de linhagem
A AWS anuncia que o Amazon SageMaker contribuiu com um transporte personalizado “AmazonDataZoneTransport” para a comunidade OpenLineage e aprimorou os recursos automatizados de linhagem. Esses aprimoramentos de linhagem incluem melhorias na automação de fontes como AWS Glue, Amazon Redshift e captura automatizada de linhagem a partir de ferramentas, permitindo que cientistas e engenheiros de dados trabalhem com mais eficiência com seus dados e modelos.
A nova contribuição de “transporte personalizado” para a comunidade OpenLineage permite que os construtores baixem o transporte junto com os plug-ins do OpenLineage para aumentar e automatizar eventos de linhagem capturados em sistemas habilitados para OpenLineage. Com isso, os clientes podem automatizar a captura de linhagem e enviar esses eventos de linhagem para o domínio do SageMaker Unified Studio, aprimorando a rastreabilidade e a governança de dados em seus fluxos de trabalho de dados. O Amazon SageMaker também introduziu recursos aprimorados de linhagem automatizada de várias fontes. Essas melhorias incluem melhor suporte para eventos de linhagem do AWS Glue, Amazon Redshift e captura automatizada de linhagem a partir de ferramentas como processos e cadernos do vETL. Além disso, o SageMaker aprimorou seu suporte à linhagem SQL, especialmente para o Amazon Redshift, com novos atributos, incluindo suporte para procedimentos armazenados e visões materializadas. Esses aprimoramentos permitem a captura automática de linhagem de operações de dados complexas, fornecendo uma visão mais abrangente das transformações e dependências de dados.
Esse atributo está disponível em todas as regiões da AWS nas quais o Amazon SageMaker é oferecido.
Para saber mais sobre a contribuição de transporte personalizado e os recursos aprimorados de linhagem, acesse a página do Amazon SageMaker. Para obter informações detalhadas sobre como começar a usar a linhagem usando esses novos atributos, consulte a documentação do usuário.