Publicado: Oct 28, 2022
Agora, você pode monitorar a qualidade de previsões de machine learning de trabalhos do Batch Transform no SageMaker usando o Amazon SageMaker Model Monitor. O Amazon SageMaker Model Monitor fornece uma experiência totalmente gerenciada para monitorar modelos em produção, detectar desvios e executar ações oportunas, como auditoria ou retreinamento.
O Amazon SageMaker Batch Transform permite executar previsões em conjuntos de dados armazenados no Amazon S3. O serviço é ideal em cenários de trabalho com grandes conjuntos de dados que não precisam de um endpoint de inferência persistente. Após a implantação dos modelos em produção, os dados do mundo real podem, ao longo do tempo, desviar dos dados usados para treinar o modelo, o que pode levar à redução da precisão do modelo. Por exemplo, alterações nas condições macroeconômicas, como taxas de juros, podem afetar a qualidade do modelo usado para prever preços de moradia. O Model Monitor pode detectar e notificar desvios na qualidade de dados, qualidade de modelos, vieses e atribuição de recursos, possibilitando a tomada de medidas de remediação dessas alterações.
Com o Amazon SageMaker Model Monitor, você pode coletar dados do Batch Transform em produção, analisá-los e compará-los em relação a dados de treinamento ou validação para detectar desvios. Você pode usar as regras internas do SageMaker Model Monitor para detectar imediatamente desvios em conjuntos de dados estruturados, adicionar transformações de dados antes de executar as regras internas ou escrever suas próprias regras personalizadas. O Model Monitor pode ser usado com uma grande variedade de tipos de instância. O serviço pode ser agendado para execução frequente (por exemplo, horária/diária) ou sob demanda, enviar métricas resumidas para o Amazon CloudWatch e definir alertas e triggers para ações corretivas.
O Amazon SageMaker Model Monitor para trabalhos do Batch Transform está disponível em todas as regiões comerciais em que o Amazon SageMaker é oferecido. Consulte o Guia do desenvolvedor do Amazon SageMaker para obter mais informações e exemplos de notebooks.