Publicado: Nov 10, 2021

O Amazon SageMaker Inference agora oferece suporte a novas opções de implantação de modelos para atualizar seus modelos de machine learning em produção. Usando as novas barreiras de proteção de implantação, você pode alternar facilmente do modelo atual em produção para um novo de forma controlada. Esse lançamento introduz os modos de deslocamento de tráfego canary e linear, para que você possa ter controle granular sobre a mudança de tráfego do seu modelo atual para o novo durante o curso da atualização. Com medidas de proteção integradas, como reversões automáticas, você pode detectar problemas com antecedência e tomar medidas corretivas automaticamente antes que eles causem impacto significativo na produção.

O Amazon SageMaker é um serviço totalmente gerenciado que ajuda desenvolvedores e cientistas de dados a preparar, criar, treinar e implantar modelos de machine learning de alta qualidade rapidamente, reunindo um amplo conjunto de recursos criados especificamente para ML. Quando você implanta seus modelos de ML treinados no Amazon SageMaker, ele cuida do provisionamento, da aplicação de patches e da atualização dos endpoints, para que você possa se concentrar na capacitação das suas aplicações com ML. Quando você precisar atualizar seu endpoint com uma versão mais recente do seu modelo de ML ou contêiner de serviço, o SageMaker trará uma nova frota (frota verde) contendo as atualizações e deslocará o tráfego da frota existente (frota azul) de uma só vez, processo chamado de implantação azul/verde. Isso garante que o endpoint seja capaz de responder às solicitações mesmo quando a atualização estiver em andamento, maximizando a disponibilidade.

Com esse lançamento, o Amazon SageMaker adiciona os modos de deslocamento de tráfego canary e linear a implantações azul/verde. Esses modos oferecem um controle mais granular no deslocamento de tráfego entre as frotas, para que você possa criar confiança antes de discar o tráfego. Além disso, você pode pré-especificar alarmes do CloudWatch em métricas, como latência ou taxas de erro, e reverter automaticamente a implantação para a frota azul se algum desses alarmes for disparado. O modo canary permite que você desloque uma pequena porcentagem do tráfego para a frota verde (chamada de frota canary), observe o comportamento da frota canary por um período de tempo (conhecido como período de espera) e mude o restante do tráfego somente quando nenhum alarme for acionado durante o período de espera. O modo linear permite que você desloque o tráfego para a frota verde em incrementos fixos configuráveis (por exemplo, 10%) e observe o comportamento por um período de espera antes de deslocar o incremento subsequente. Com todas as implantações azul/verde, você pode observar as frotas depois que todo o tráfego foi deslocado (conhecido como o período final de espera) antes de encerrar a frota azul. Esses modos de deslocamento de tráfego ajudam você a equilibrar a compensação entre gerenciar o risco de introduzir novos modelos em produção e controlar a duração da atualização, para que você possa escolher a opção certa para o seu caso de uso. De uma só vez, o deslocamento de tráfego minimiza a duração da atualização e o modo linear minimiza o risco de introduzir um novo modelo na produção, deslocando o tráfego em várias etapas. O modo canary desloca todo o tráfego em duas etapas, proporcionando um equilíbrio entre o risco e a duração da atualização.

Para obter informações detalhadas sobre esses novos recursos, leia nossa documentação, que também contém exemplos de cadernos para ajudar você a começar. Esses novos recursos de implantação em fases estão disponíveis para todos os endpoints recém-criados em todas as regiões comerciais em que o Amazon SageMaker está disponível. Para obter uma lista de recursos sem suporte, consulte a seção de exclusões da nossa documentação.