Linhagem do Apache Spark já está disponível no Estúdio Unificado Amazon SageMaker para domínios baseados em IDC
O Amazon SageMaker anuncia a disponibilidade geral da linhagem de dados para trabalhos do Apache Spark executados em Amazon EMR e AWS Glue no Estúdio Unificado SageMaker para domínios baseados em IDC. A linhagem de dados fornece as informações necessárias para identificar a causa raiz de problemas complexos e entender o impacto de mudanças.
Esse recurso captura a linhagem de esquemas e transformações de ativos e colunas de dados de execuções do Spark no EMR (EC2, Sem Servidor e EKS) e no AWS Glue. Você pode explorar visualmente essa linhagem como um grafo no Estúdio Unificado SageMaker ou consultá-la usando APIs. Você também pode usar a linhagem para comparar as transformações no histórico de trabalhos do Spark.
A linhagem do Spark está disponível em todas as regiões que oferecem o Estúdio Unificado SageMaker. Para obter informações detalhadas sobre como começar a usar a linhagem usando esses novos recursos, consulte a documentação.