Publicado: Dec 8, 2020
O Amazon SageMaker Model Monitor monitora continuamente os modelos de machine learning para detectar desvio de conceito (ou seja, mudanças na distribuição de dados e características ao longo do tempo) e o alerta se houver algum desvio, para que seja possível tomar ações corretivas. A partir de hoje, também é possível usar o Amazon SageMaker Model Monitor para detectar desvios na qualidade do modelo, tendência e importância do recurso. Com essas novas capacidades totalmente gerenciadas, o SageMaker Model Monitor ajuda a manter modelos de machine learning de alta qualidade na produção.
O Amazon SageMaker Model Monitor atualmente suporta detecção de desvios na qualidade dos dados, rastreando a diferença entre os dados que foram usados para treinar os modelos em comparação com os dados que estão sendo apresentados ao modelo para pontuar e alertar a respeito de desvios a fim ajudar na tomada de decisões oportunas, como auditoria de dados ou modelos de requalificação. Atualmente, estamos adicionando três novas capacidades ao SageMaker Model Monitor, possibilitando a detecção de desvios na qualidade do modelo, tendência de modelo e importância do recurso.
Com o monitoramento de qualidade do modelo, é possível monitorar as características do modelo (como precisão, exatidão, recall e ainda mais) de seus modelos de ML em tempo real. O SageMaker Model Monitor relata se um modelo de ML prevê resultados com exatidão ao comparar a previsão do modelo com os dados da verdade. Uma vez que o modelo é monitorado, é possível visualizar relatórios e gráficos exportáveis detalhando a qualidade do modelo na instância do Amazon S3, Amazon SageMaker Studio e SageMaker Notebook. Você também pode configurar o Amazon CloudWatch para receber notificações se for observado algum desvio na qualidade do modelo.
O monitoramento de tendências ajuda a detectar tendências nos seus modelos de ML regularmente. O SageMaker Model Monitor determina periodicamente quando a métrica de tendência se desloca para níveis que excedem estatisticamente os limites pré-estabelecidos. Com a possibilidade de monitoramento de tendências no Model Monitor, você pode ver métricas e visualizar os resultados no SageMaker Studio. Você também pode configurar alertas automáticos para que seja possível saber imediatamente quando seu modelo excede os limiares de métrica de tendência definidos.
Depois que os modelos são implantados na produção, a importância e impacto de determinados recursos no modelo pode mudar ao longo do tempo. O monitoramento da capacidade de explicação do modelo ajuda a entender e interpretar se as previsões feitas pelos modelos de ML estão baseadas nas mesmas características e na mesma proporção de quando seu modelo foi treinado. Ao ativar o rastreamento de capacidade de explicação, o SageMaker Model Monitor detecta automaticamente o desvio na importância relativa dos recursos, permite visualizar essas mudanças no SageMaker Studio e, como todos os outros recursos do SageMaker Model Monitor, pode ser configurado com o Amazon CloudWatch para alertar proativamente quando o desvio for detectado.
O Amazon SageMaker Model Monitor pode ser habilitado para endpoints de inferência novos ou existentes em tempo real. Uma vez habilitado, o SageMaker Model Monitor salva solicitações de previsão e respostas no Amazon S3, compara as previsões do modelo com as verdades reais ou de base que você fornece, executa regras criadas ou personalizadas para detectar desvios em relação a uma linha de base e alerta quando há desvios. Como resultado, é possível monitorar centenas de modelos para detectar desvios na qualidade dos dados, qualidade dos modelos, tendências dos modelos e importância do recurso de forma padronizada em toda a sua organização sem ter que criar nenhuma ferramenta adicional. Os trabalhos de monitoramento podem ser programados para funcionar em uma cadência regular (por exemplo, de hora em hora ou todos os dias) e enviar relatórios e métricas para o Amazon CloudWatch e Amazon S3. Os resultados de monitoramento também estão disponíveis no Amazon SageMaker Studio para inspeção visual e você também pode analisar melhor os resultados usando uma instância do Amazon SageMaker Notebook.
O Amazon SageMaker Model Monitor está disponível em todas as regiões comerciais em que o Amazon SageMaker está disponível. Também é possível receber até 30 horas de monitoramento agregado em todos os endpoints a cada mês, sem custos, ao usar regras de monitoramento criadas com a instância padrão ml.m5.xlarge. Leia a documentação para obter mais informações e blocos de anotações de amostra.