Teste de sombra do Amazon SageMaker
Valide a performance de novos modelos de ML em relação aos modelos de produção para evitar interrupções onerosas
Identifique possíveis erros de configuração antes que eles afetem os usuários finais, comparando novos modelos de ML com modelos de produção.
Melhore a performance de inferência avaliando alterações de modelo, atualizações de contêiner e novas instâncias com tráfego de produção.
Reduza semanas de desenvolvimento de uma infraestrutura de teste e libere modelos para produção mais rapidamente.
Como funciona
O SageMaker ajuda você a executar testes de sombra para avaliar um novo modelo de machine learning (ML) antes da liberação em produção, testando sua performance em comparação com o modelo já implantado. O teste de sombra pode ajudar você a detectar possíveis erros de configuração e problemas de performance antes que eles afetem os usuários finais.
Principais recursos
Teste totalmente gerenciado
Com o teste de sombra do SageMaker, você não precisa investir na criação de sua própria infraestrutura de teste, portanto, pode se concentrar no desenvolvimento do modelo. Basta selecionar o modelo de produção com o qual deseja testar e o SageMaker implanta automaticamente o novo modelo em um ambiente de teste. Em seguida, ele encaminha uma cópia das solicitações de inferência recebidas pelo modelo de produção para o novo modelo em tempo real e coleta métricas de performance, como latência e throughput.
Painéis de comparação de performance em tempo real
O SageMaker cria um painel em tempo real que mostra métricas de performance, como latência e taxa de erro do novo modelo e do modelo de produção em uma comparação lado a lado. Depois de revisar os resultados do teste e validar o modelo, você pode promovê-lo para produção.
Controle de tráfego refinado
Ao executar testes de sombra no SageMaker, você pode configurar a porcentagem de solicitações de inferência enviadas aos modelos de teste. Esse controle sobre o tráfego de entrada permite que você comece devagar e aumente a quantidade de testes somente depois de ganhar confiança na performance do modelo.
Clientes
“Os novos recursos de teste do Amazon SageMaker nos permitiram testar de maneira mais rigorosa e proativa os modelos de ML em produção, evitando, dessa forma, impactos adversos ao cliente, bem como quaisquer interrupções causadas por erros em modelos implantados. Isso é imprescindível, pois nossos clientes contam com nosso fornecimento de insights em tempo hábil com base em dados de localização em tempo real que mudam constantemente.”
Giovanni Lanfranchi, diretor executivo de produtos e tecnologia, HERE Technologies