SageMaker JumpStart agora oferece implantações otimizadas para modelos de base
O SageMaker JumpStart agora oferece implantações otimizadas, permitindo aos clientes implantar modelos de base com configurações predefinidas adaptadas a casos de uso específicos e restrições de performance. As implantações otimizadas do SageMaker JumpStart simplificam a implantação de modelos ao oferecer configurações sensíveis ao tipo de tarefa, otimizadas para custo, throughput ou latência, de acordo com os requisitos da sua workload — seja para geração de conteúdo, resumo ou perguntas e respostas. Este lançamento inclui suporte para mais de 30 modelos populares da Meta, Microsoft, Mistral AI, Qwen, Google e TII, com visibilidade de métricas de performance essenciais, como latência P50, tempo até o primeiro token (TTFT) e throughput, antes da implantação.
Com as implantações otimizadas do SageMaker JumpStart, os clientes podem selecionar configurações específicas para cada caso de uso (como escrita generativa ou interações no estilo de chat) e escolher objetivos de otimização, incluindo custo, throughput, latência ou performance equilibrada. Os modelos são implantados nos endpoints do SageMaker AI Managed Inference ou nos clusters do SageMaker HyperPod com configurações predefinidas que eliminam suposições e, ao mesmo tempo, mantêm a visibilidade total dos detalhes da implantação. Os modelos disponíveis incluem as variantes Meta Llama 3.1 e 3.2, o Microsoft Phi-3, os modelos Mistral AI, incluindo Mistral-Small-24B-Instruct-2501, o Qwen 2 e 3, incluindo Qwen2-VL multimodal, o Google Gemma e o TII Falcon3. Todas as implantações usam os recursos de implantação de VPC do SageMaker, que garantem controle sobre os dados e infraestrutura pronta para produção com segurança de nível empresarial. O recurso está disponível em todas as regiões da AWS que oferecem suporte ao SageMaker JumpStart.
Para começar a usar as implantações otimizadas, navegue até Modelos no SageMaker Studio, selecione o modelo de base desejado na guia Modelos do JumpStart, escolha “Implantar” e selecione seu caso de uso e sua meta de otimização de performance. Para obter detalhes, consulte a documentação do SageMaker JumpStart. A AWS está expandindo ativamente o suporte para incluir modelos adicionais.