Publicado: Dec 1, 2021
O Amazon SageMaker agora oferece aprimoramentos da funcionalidade de monitoramento de linhagem de machine learning (ML), que permite aos clientes monitorar e consultar a linhagem de artefatos, como dados, recursos e modelos em todo o fluxo de trabalho de ML. Agora, com uma única consulta, os clientes podem obter os grafos da linhagem detalhada que abrangem todo o fluxo de trabalho, desde a preparação de dados até a implantação de modelos. Esse recurso elimina deslocamentos pesados indiferenciados necessários para obter informações de linhagem uma etapa de fluxo de trabalho de cada vez e juntá-las manualmente. Os clientes também podem obter informações de linhagem para segmentos do fluxo de trabalho definindo uma etapa como ponto focal e consultando a linhagem das etapas que estão upstream ou downstream do ponto focal. Por exemplo, os clientes podem definir um modelo como entidade focal e obter o local dos dados brutos definidos, de onde os recursos foram extraídos para treinar esse modelo.
O novo recurso também habilita o monitoramento de informações de linhagem de etapas do fluxo de trabalho que abrangem várias contas da AWS. Uma prática comum de DevOps é criar muitas contas para várias pessoas (cientista de dados, engenheiro de ML etc.) para organizar todos os recursos da sua organização. Para habilitar este recurso, o cliente pode compartilhar recursos de linhagem entre contas da AWS usando o AWS RAM. O AWS RAM ajuda a reduzir a sobrecarga operacional e oferece visibilidade dos recursos compartilhados. Uma vez configurado, os clientes podem usar a API de consulta de linhagem para monitorar relacionamentos entre diversos artefatos que se estendem entre várias regiões da AWS.
As informações de linhagem de ML podem ser usadas para melhorar a governança de modelos, reproduzir as versões anteriores dos artefatos ou solucionar fluxos de trabalho de forma mais eficaz. Para começar a usar, treine um novo modelo de ML usando o SageMaker Studio ou SDK e use APIs de consulta de linhagem para monitorar informações de linhagem. Para saber mais, acesse nossa página de documentação sobre monitoramento de linhagem baseado em grafos entre contas e API de consulta de linhagem.