Amazon SageMaker lança a inferência de modelo de vários adaptadores
Hoje, o Amazon SageMaker apresenta novos recursos de inferência de vários adaptadores que abrem possibilidades incríveis para os clientes que usam modelos de linguagem pré-treinados. Esse atributo permite implantar centenas de adaptadores de modelo LoRa (Low-Rank Adaptation) ajustados em um único endpoint, carregando dinamicamente os adaptadores apropriados em milissegundos com base na solicitação. Isso permite que você hospede com eficiência muitos adaptadores LoRa especializados baseados em um modelo básico comum, oferecendo alto throughput e economia de custos em comparação com a implantação de modelos separados.
Com a inferência de vários adaptadores, você pode personalizar rapidamente os modelos pré-treinados para atender às diversas necessidades comerciais. Por exemplo, as empresas de marketing e SaaS podem personalizar aplicações de IA/ML usando imagens, estilo de comunicação e documentos exclusivos de cada cliente para gerar conteúdo personalizado em segundos. Da mesma forma, as empresas em setores como saúde e serviços financeiros podem reutilizar um modelo de base comum baseado em LoRa para realizar uma variedade de tarefas especializadas, do diagnóstico médico à detecção de fraudes, simplesmente trocando o adaptador apropriado e ajustado. Essa flexibilidade e eficiência abrem novas oportunidades para implantar uma IA poderosa e adaptável em toda a sua organização.
O atributo de inferência de vários adaptadores está disponível nas regiões: Ásia-Pacífico (Tóquio, Seul, Mumbai, Singapura, Sydney, Jacarta), Canadá (Central), Europa (Frankfurt, Estocolmo, Irlanda, Londres), Oriente Médio (EAU), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia, Ohio) e Oeste dos EUA (Oregon).
Para começar a usá-lo, consulte o guia do desenvolvedor do Amazon SageMaker para obter informações sobre o uso do LoRa e o gerenciamento de adaptadores de modelo.