O Amazon SageMaker IA reduz o tempo de escalabilidade da inferência de IA generativa em até metade com o cache automático de imagens de contêineres
Agora, o Amazon SageMaker Inference oferece suporte ao armazenamento em cache de imagens de contêineres, permitindo uma escalabilidade de ponta a ponta até duas vezes mais rápida para modelos de IA generativa durante eventos de expansão. Quando seu endpoint se expande, o serviço pré-armazena em cache sua imagem de contêiner para que novas instâncias possam começar a fornecer tráfego mais rapidamente, sem esperar que imagens grandes de contêiner sejam extraídas do Amazon ECR.
As workloads de IA generativa geralmente usam imagens de contêiner grandes (10 GB ou mais) para estruturas de aprendizado profundo e fornecimento de modelos. Antes, cada nova instância lançada durante a expansão tinha que extrair a imagem completa do ECR, adicionando vários minutos de latência de inicialização a frio. O cache de imagens do contêiner elimina esse gargalo ao pré-extrair a imagem para que novas instâncias sejam iniciadas com o contêiner já disponível localmente. Os clientes não precisam fazer nenhuma alteração. O serviço armazena automaticamente em cache qualquer URI de imagem especificado em sua configuração de endpoint ou componente de inferência. Esse recurso oferece suporte a tipos de instâncias aceleradoras, endpoints de modelo único e endpoints baseados em componentes de inferência.
Com esse lançamento, o SageMaker Inference agora oferece um pacote abrangente de otimização de escalabilidade para IA generativa: métricas de simultaneidade de menos de um minuto para detecção de carga até 6 vezes mais rápida, armazenamento em cache de contêineres em armazenamento de instâncias para escalabilidade mais rápida em instâncias existentes e cache de imagens de contêineres para escalabilidade até duas vezes mais rápida em novas instâncias.
O armazenamento em cache de imagens de contêineres está disponível em todas as regiões comerciais da AWS nas quais o SageMaker Inference é suportado. Para saber mais, acesse o blog do lançamento.