Publicado: Dec 1, 2021
O Amazon SageMaker Pipelines, um serviço totalmente gerenciado que permite que você crie, automatize e gerencie fluxos de trabalho de machine learning (ML) de ponta a ponta, passa a oferecer integração com o Amazon SageMaker Model Monitor e o Amazon SageMaker Clarify. Com essas integrações, você pode incorporar facilmente a detecção da qualidade de modelos e de desvios em seu fluxo de trabalho de ML. O aumento da automação pode ajudar a reduzir a carga operacional no desenvolvimento e gerenciamento de modelos de ML.
O SageMaker Model Monitor e o SageMaker Clarify permitem monitorar continuamente as métricas de qualidade e desvio de modelos de ML em produção. Assim, você pode configurar alertas ou acionar uma readaptação quando a qualidade do modelo ou dos dados oscilar. Para configurar o monitoramento de modelos, é preciso estabelecer uma métrica de linha de referência para a qualidade dos dados e do modelo que o SageMaker Model Monitor possa usar para calcular oscilações. Com a nova integração, você pode capturar automaticamente as linhas de referência de qualidade do modelo e dos dados como parte do pipeline de compilação do modelo, eliminando a necessidade de calcular essas métricas fora do fluxo de trabalho de compilação do modelo. Você também pode usar o QualityCheckStep e o ClarifyCheckStep no SageMaker Pipelines para interromper o pipeline de treinamento do modelo se algum desvio da métrica de linha de referência conhecida anteriormente for detectado. Uma vez computadas, você também poderá armazenar e visualizar as métricas calculadas de qualidade e desvio junto com as linhas de referência no registro de modelos.
Essa integração também está disponível como um modelo no SageMaker Projects, de forma que você pode programar automaticamente trabalhos de monitoramento de modelos e detecção de desvios aproveitando as métricas de linhas de referência relacionadas no registro de modelos. Para começar, crie um novo SageMaker Project no SageMaker Studio ou na interface de linha de comando usando o novo modelo de monitoramento de modelos. Para saber mais, visite a nossa página de documentação nas etapas de verificação no Sagemaker Pipelines, nas métricas/linhas de referência no registro de modelos, no Sagemaker Model Monitor e no modelo CI/CD de monitoramento de modelos.