Clienti AWS Trainium

Prestazioni e scalabilità non sono solo requisiti tecnici: sono essenziali per raggiungere tale obiettivo. Ecco perché abbiamo collaborato con AWS come nostro principale fornitore di cloud per creare Project Rainier, uno dei supercomputer operativi basati su IA più potenti al mondo. Con quasi un milione di chip Trainium2 utilizzati e utilizzati da Claude oggi, siamo entusiasti di Trainium3 e prevediamo di continuare a scalare Claude ben oltre ciò che abbiamo costruito con Project Rainier, allargando i confini di ciò che è possibile nell'IA.

James Bradbury, Responsabile informatico, Anthropic.

La nostra partnership con AWS ci offre entrambi. Trainium consente ai nostri clienti di scalare il loro utilizzo di poolside a un rapporto prezzo-prestazioni diverso da quello di altri acceleratori di IA. Inoltre, il prossimo supporto nativo per Pytorch e vLLM di Trainium sbloccherà ancora più innovazione e flessibilità per gli utenti di Trainium, incluso il poolside. Soprattutto, l'attenzione di AWS al cliente è evidente e AWS è stata in grado di iterare e utilizzare rapidamente il nostro feedback per adattare Trainium alle nostre esigenze. Non vediamo l'ora di approfondire la nostra collaborazione su tutti gli aspetti di Trainium.

Joe Rowell Ingegnere fondatore

L'architettura unica di Trainium, con gerarchia di memoria efficiente e motori di intelligenza artificiale ad alto rendimento, si è dimostrata ideale per i modelli video in tempo reale di Decart, favorendo il pieno utilizzo dell'hardware. I primi test mostrano un frame throughput fino a quattro volte superiore e un'efficienza dei costi due volte migliore rispetto alle GPU migliori, con una latenza ridotta da 40 ms a 10 ms. Queste prestazioni consentono la generazione di video dal vivo, dinamici e interattivi su larga scala, cosa in precedenza impraticabile su hardware standard. Tramite Bedrock, queste funzionalità saranno presto accessibili direttamente ai clienti AWS.

Dean Leitersdorf Co-fondatore e CEO
 

Adottando AWS Trainium, abbiamo ridotto i costi di formazione LLM di oltre il 50% mantenendo una disponibilità costante dell'infrastruttura. Questo ci ha permesso di creare il modello di lingua giapponese più accurato del Giappone, rimanendo ben al di sotto del budget. La stabilità dell'infrastruttura ha inoltre consentito incrementi di produttività inaspettati, consentendo al nostro team di concentrarsi sull'innovazione anziché sulla risoluzione dei problemi.

Tomofumi Nakayama, CPO

Nel 2025 la comunità basata dell’IA ha raggiunto un punto di svolta con oltre 10 milioni di generatori di IA che hanno utilizzato e condiviso milioni di modelli e set di dati aperti su Hugging Face. Ora è più importante che mai ridurre i costi di gestione di modelli aperti sempre più grandi e diversificati, per assicurarsi che l'intelligenza artificiale sia vantaggiosa per tutti e per ogni settore. In Hugging Face, abbiamo lavorato fianco a fianco con i team di ingegneri di AWS per creare chip IA appositamente progettati sin da quando sono diventate disponibili le prime istanze Inferentia1. Quindi oggi siamo incredibilmente entusiasti di Trainium3, la prossima generazione di chip IA di AWS, che alimenterà le applicazioni dell’IA più esigenti, dai LLM MoE agli agenti e ai modelli di generazione video. Con Optimum Neuron, ci impegniamo a portare i vantaggi dell'elevata memoria e dell'efficienza dei costi di Trainium 3 ai milioni di utenti di Transformers, Accelerate, Diffusers e TRL, in modo che possano creare la propria intelligenza artificiale controllando i costi.

La visione di PyTorch è semplice: lo stesso codice dovrebbe essere eseguito ovunque su qualsiasi piattaforma hardware. Il supporto nativo di Trainium di AWS offre questa scelta hardware ai ricercatori che devono sperimentare rapidamente e iterare liberamente. Con il lancio di AWS Trainium3, gli sviluppatori PyTorch possono ricercare, creare e distribuire le proprie idee con prestazioni più elevate, latenza inferiore e migliore economia dei token, il tutto mantenendo i flussi di lavoro PyTorch familiari e rimanendo all'interno dell'ecosistema che già conoscono.