O Amazon SageMaker Serverless Inference já está disponível

Publicado: Apr 21, 2022

Hoje estamos animados por anunciar a disponibilização geral do Amazon SageMaker Serverless Inference em todas as Regiões da AWS em que o SageMaker está disponível (exceto nas regiões do AWS na China). Com o SageMaker Serverless Inference, é possível implantar rapidamente modelos de machine learning (ML) para inferência sem ter que configurar ou gerenciar a infraestrutura subjacente. Ao implantar seus modelos de ML, basta selecionar a opção sem servidor e o Amazon SageMaker provisionará, escalará e desativará automaticamente a capacidade computacional com base no volume de solicitações de inferência. Com o SageMaker Serverless Inference, você paga apenas pela capacidade computacional usada para processar solicitações de inferência, cobradas por milissegundo e pela quantidade de dados processados, sem pagar pelo tempo ocioso. O SageMaker Serverless Inference é ideal para aplicações com tráfego intermitente ou imprevisível.

Desde o lançamento prévio no re:Invent 2021, adicionamos suporte para o Amazon SageMaker Python SDK, que oferece abstrações para simplificar a implantação de modelo e suporte para o Model Registrry, o que permite integrar seus endpoints de inferência sem servidor a seu fluxo de trabalho de MLOps. Também aumentamos as invocações máximas concorrentes por limite de endpoint para 200 (era 50 durante a prévia), permitindo que você use o SageMaker Serverless Inference para cargas de trabalho de alto tráfego.

É possível criar um endpoint do SageMaker Serverless Inference no Console AWS, AWS SDK para Python (Boto3), SageMaker Python SDK, AWS CloudFormation ou no AWS Command Line Interface (AWS CLI). O SageMaker Serverless Inference agora está disponível nas 21 Regiões da AWS a seguir: Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), África (Cidade do Cabo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Osaka), Ásia-Pacífico (Seul), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Canadá (Central), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Milão), Europa (Paris), Europa (Estocolmo), Oriente Médio (Bahrein) e América do Sul (São Paulo).