SageMaker JumpStart offre ora implementazioni ottimizzate per i modelli di fondazione
SageMaker JumpStart offre ora implementazioni ottimizzate che consentono ai clienti di implementare modelli di fondazione con configurazioni preimpostate adatte a casi d'uso specifici e vincoli di prestazione. Le implementazioni ottimizzate di SageMaker JumpStart semplificano l'implementazione dei modelli offrendo configurazioni specifiche per attività che ottimizzano costi, throughput o latenza in base ai requisiti del carico di lavoro per la generazione di contenuti, il riepilogo o le risposte a domande. Questo lancio include il supporto per oltre 30 modelli popolari di Meta, Microsoft, Mistral AI, Qwen, Google e TII, con visibilità su metriche di prestazione chiave come la latenza P50, time-to-first token (TTFT) e throughput prima dell'implementazione.
Con le implementazioni ottimizzate di SageMaker JumpStart, i clienti possono scegliere tra configurazioni specifiche per caso d'uso, come la scrittura generativa o le interazioni in stile chat e selezionare tra target ottimizzati per costi, throughput, latenza o prestazioni bilanciate. I modelli vengono implementati su endpoint SageMaker AI Managed Inference o cluster SageMaker HyperPod con configurazioni preimpostate che eliminano le congetture mantenendo la piena visibilità dei dettagli di implementazione. I modelli disponibili includono le varianti Meta Llama 3.1 e 3.2, Microsoft Phi-3, i modelli Mistral AI incluso il nuovo Mistral-Small-24B-Instruct-2501, le serie Qwen 2 e 3 incluso Qwen2-VL multimodale, Google Gemma e TII Falcon3. Tutte le distribuzioni sfruttano le funzionalità di distribuzione VPC di SageMaker, garantendo il controllo dei dati e un'infrastruttura pronta per la produzione con sicurezza di livello aziendale. La funzionalità è disponibile in tutte le regioni AWS in cui SageMaker JumpStart è attualmente supportato.
Per iniziare con le distribuzioni ottimizzate, accedi a Modelli in SageMaker Studio, seleziona il modello di fondazione desiderato nella scheda Modelli JumpStart, scegli "Distribuisci" e seleziona il tuo caso d'uso e il target di ottimizzazione delle prestazioni. Per ulteriori dettagli, consulta la documentazione di SageMaker JumpStart. AWS sta attivamente ampliando il supporto per includere modelli aggiuntivi.