Publicado: Feb 28, 2018
Agora você pode configurar o Auto Scaling de seus endpoints a partir do console do Amazon SageMaker, da API do AWS Auto Scaling e do AWS SDK, facilitando o gerenciamento de capacidade. Usando o Amazon SageMaker, você pode especificar o número e os tipos de instâncias por endpoint, proporcionando a escala necessária para suas inferências. Caso o volume de sua inferência mude, é possível alterar o número e/ou os tipos de instâncias por trás de cada endpoint a fim de acomodar essa mudança. Ao usar o Auto Scaling, você pode ajustar automaticamente sua capacidade de inferência para manter um desempenho previsível a um baixo custo. A partir do console do Amazon SageMaker, você configura o número mínimo e máximo de instâncias para seu endpoint, e então seleciona o volume de processamento por instância. Agora, em resposta a mudanças no tráfego do aplicativo, o Amazon SageMaker vai monitorar seus modelos implantados para ajustar automaticamente o número de instâncias e manter o volume de processamento dentro dos níveis desejados. Isso facilita o gerenciamento de modelos em produção e pode ajudar a reduzir o custo de modelos implantados.
O Auto Scaling no Amazon SageMaker está disponível nas regiões Leste dos EUA (Norte da Virgínia e Ohio), UE (Irlanda) e Oeste dos EUA (Oregon) da AWS. Acesse a documentação para mais detalhes sobre modelos de escalabilidade automática no Amazon SageMaker.