Introduzione di AWS Neuron SDK 2.27.0
Oggi, AWS annuncia Neuron SDK 2.27.0, che introduce il supporto per Trainium3 UltraServer con componenti open source ampliati. Neuron introduce anche la suite di strumenti Neuron Explorer, NKI migliorato con il compilatore NKI open source basato su MLIR (beta privata), la libreria NKI di kernel ottimizzati, il supporto nativo a PyTorch tramite TorchNeuron (beta privata) e Neuron DRA per la gestione delle risorse nativa su Kubernetes (beta privata).
Questi aggiornamenti consentono ai framework standard di funzionare senza modifiche su Trainium, rimuovendo le barriere per i ricercatori che vogliono sperimentare e innovare. Per gli sviluppatori che necessitano di un controllo più approfondito, la versione beta 2 dell’interfaccia Neuron Kernel Interface (NKI) migliorata offre accesso diretto alle ottimizzazioni a livello hardware, permettendo ai clienti di scalare i carichi di lavoro IA con prestazioni migliorate. Se sei interessato all'accesso anticipato alle nuove funzionalità e ai miglioramenti di NKI, puoi aderire al programma beta privato di Neuron.
La nuova versione SDK è disponibile in tutte le regioni AWS che supportano le istanze Inferentia e Trainium, offrendo prestazioni e funzionalità di monitoraggio migliorate per i carichi di lavoro di machine learning.
Per ulteriori dettagli, consultare: