Amazon SageMaker AI agora oferece suporte à capacidade de planos de treinamento flexíveis para inferência
Os planos de treinamento flexíveis (FTP) do Amazon SageMaker AI agora oferecem suporte a endpoints de inferência, oferecendo aos clientes capacidade de GPU garantida para avaliações planejadas e picos de produção. Agora, os clientes podem reservar os tipos de instância exatos de que precisam e confiar no SageMaker AI para ativar automaticamente o endpoint de inferência, sem precisar gerenciar a infraestrutura por conta própria.
Ao planejarem seus ciclos de desenvolvimento de ML, os clientes precisam ter a certeza de que as GPUs necessárias para a avaliação de modelo e os testes de pré-produção estarão disponíveis exatamente nas datas em que precisarem. O FTP facilita o acesso dos clientes à capacidade da GPU para executar workloads de ML. Com o suporte a FTP para endpoints de inferência, você escolhe os tipos de instância, os requisitos de computação, a duração da reserva e a data de início da sua workload de inferência. Ao criar o endpoint, você simplesmente faz referência ao ARN da reserva e o SageMaker AI provisiona e executa automaticamente o endpoint nessa capacidade garantida durante toda a duração do plano. Isso elimina semanas de trabalho de gerenciamento de infraestrutura e agendamento, permitindo executar inferências de forma previsível enquanto concentra seu tempo em melhorar a performance do modelo.
O suporte de planos de treinamento flexíveis de Inferência do SageMaker AI está disponível nas seguintes regiões: Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Leste dos EUA (Ohio).
Para saber mais sobre como usar as reservas de FTP para os endpoints de inferência, acesse a referência da API de Inferência do SageMaker AI aqui.