Teste de sombra do Amazon SageMaker

Valide a performance de novos modelos de ML em relação aos modelos de produção para evitar interrupções onerosas

Identifique possíveis erros de configuração antes que eles afetem os usuários finais, comparando novos modelos de ML com modelos de produção.

Melhore a performance de inferência avaliando alterações de modelo, atualizações de contêiner e novas instâncias com tráfego de produção.

Reduza semanas de desenvolvimento de uma infraestrutura de teste e libere modelos para produção mais rapidamente.

Como funciona

O SageMaker ajuda você a executar testes de sombra para avaliar um novo modelo de machine learning (ML) antes da liberação em produção, testando sua performance em comparação com o modelo já implantado. O teste de sombra pode ajudar você a detectar possíveis erros de configuração e problemas de performance antes que eles afetem os usuários finais.

O diagrama mostra a comparação da performance de novos modelos de ML com os modelos de produção usando o teste de sombra do Amazon SageMaker

Principais recursos

Teste totalmente gerenciado

Com o teste de sombra do SageMaker, você não precisa investir na criação de sua própria infraestrutura de teste, portanto, pode se concentrar no desenvolvimento do modelo. Basta selecionar o modelo de produção com o qual deseja testar e o SageMaker implanta automaticamente o novo modelo em um ambiente de teste. Em seguida, ele encaminha uma cópia das solicitações de inferência recebidas pelo modelo de produção para o novo modelo em tempo real e coleta métricas de performance, como latência e throughput.

Painéis de comparação de performance em tempo real

O SageMaker cria um painel em tempo real que mostra métricas de performance, como latência e taxa de erro do novo modelo e do modelo de produção em uma comparação lado a lado. Depois de revisar os resultados do teste e validar o modelo, você pode promovê-lo para produção.

Controle de tráfego refinado

Ao executar testes de sombra no SageMaker, você pode configurar a porcentagem de solicitações de inferência enviadas aos modelos de teste. Esse controle sobre o tráfego de entrada permite que você comece devagar e aumente a quantidade de testes somente depois de ganhar confiança na performance do modelo.