Llama 3.3 70B è ora disponibile su AWS tramite Amazon SageMaker JumpStart

Inserito il: 26 dic 2024

Ora i clienti AWS possono accedere al modello Llama 3.3 70B di Meta tramite Amazon SageMaker JumpStart. Questo modello offre un equilibrio ideale tra prestazioni elevate ed efficienza computazionale. Fornisce anche una qualità di output paragonabile a versioni più grandi di Llama, ma con un minor consumo di risorse, risultando un'ottima scelta per le implementazioni di IA a basso costo.

Grazie al suo meccanismo di attenzione avanzato, Llama 3.3 70B riduce sensibilmente i costi di inferenza. Addestrato su circa 15 bilioni di token, tra cui contenuti provenienti dal web ed esempi sintetici, il modello è stato sottoposto a un'approfondita ottimizzazione supervisionata e a un apprendimento per rinforzo basato su feedback umano (RLHF). Questo processo consente di ottimizzare gli output in base alle preferenze umane, mantenendo al contempo elevati standard di prestazione. Meta stima che questo aumento di efficienza renda le operazioni di inferenza quasi cinque volte più economiche, rappresentando una scelta ideale per le implementazioni in produzione.

I clienti possono implementare Llama 3.3 70B tramite l'interfaccia utente di SageMaker JumpStart o in modo programmatico utilizzando SageMaker Python SDK. Le funzionalità avanzate di inferenza dell'IA di SageMaker aiutano a ottimizzare sia le prestazioni che l'efficienza dei costi delle implementazioni, consentendoti di sfruttare appieno l'efficienza intrinseca di Llama 3.3 70B e beneficiando al contempo di un processo di implementazione semplificato.

Il modello Llama 3.3 70B è disponibile in tutte le regioni AWS in cui è supportata l'IA di Amazon SageMaker. Per maggiori informazioni sull'implementazione di Llama 3.3 70B su Amazon SageMaker JumpStart, consulta la documentazione o leggi il blog.