Publicado: Dec 3, 2019
O Amazon SageMaker Model Monitor é um novo recurso do Amazon SageMaker que monitora continuamente os modelos de machine learning (ML) na produção, detecta desvios, como desvio de dados, capazes de prejudicar a performance do modelo ao longo do tempo e alerta você para tomar medidas corretivas.
Os modelos de ML fazem previsões usado padrões de aprendizagem com base nos dados usados durante o treinamento dos modelos. Depois que os modelos são implantados na produção, com o tempo, os dados no mundo real começam a diferir dos dados que foram usados para treinar o modelo, levando a desvios na qualidade do modelo e, eventualmente, a modelos menos precisos. Por exemplo, mudanças nas condições econômicas podem gerar novas taxas de juros que afetam as previsões de compra de imóveis. O Amazon SageMaker Model Monitor fornece uma experiência totalmente gerenciada para monitorar modelos em produção, detectar desvios e executar ações oportunas, como modelos de auditoria ou reciclagem.
Com o Amazon SageMaker Model Monitor, você pode coletar facilmente solicitações e respostas de previsão de seus endpoints, analisar os dados coletados na produção e compará-los com os dados de treinamento ou validação para detectar desvios. Você pode usar as regras internas do SageMaker Model Monitor para detectar desvios imediatamente em conjuntos de dados estruturados, adicionar transformações de dados antes de executar as regras internas ou escrever suas próprias regras personalizadas. Os trabalhos de monitoramento podem ser agendados para execução em cadência regular, por exemplo, a cada hora ou diariamente, enviando métricas de resumo para o Amazon CloudWatch para que você possa definir alertas e gatilhos para medidas corretivas e dar suporte a uma ampla variedade de tipos de instância compatíveis com o Amazon SageMaker.
Ao implantar modelos no Amazon SageMaker e ativar o Model Monitor com regras internas e a instância ml.m5.xlarge, você recebe até 30 horas de monitoramento agregado em todos os endpoints a cada mês, sem custo algum.
O Amazon SageMaker Model Monitor está disponível em todas as regiões comerciais em que o Amazon SageMaker está disponível. Consulte o guia do desenvolvedor do Amazon SageMaker para obter mais informações.