AWS Neuron 2.31.0 è ora disponibile con NKI 0.5.0 e UltraServer Operator
AWS Neuron 2.31.0 è ora disponibile e introduce NKI 0.5.0 con il nuovo supporto per il dtype di scala MX FP8, l'indirezione tensoriale nelle operazioni di calcolo per un minor numero di istruzioni nei pattern di accesso indicizzati e nuove API view di NkiTensor per trasformazioni del layout tensoriale a costo zero. Questa versione introduce anche il Neuron UltraServer Operator per Amazon EKS in beta pubblica, che automatizza il rilevamento degli UltraServer, l'allocazione dei carichi di lavoro e la generazione dei resource claim per i carichi di lavoro Trainium UltraServer su Amazon EKS.
Il Neuron Compiler include un backend di generazione del codice riprogettato, ora abilitato per impostazione predefinita su Trn2 e Trn3, che offre prestazioni migliorate. Il Neuron Runtime aggiunge il supporto per lo scratchpad condiviso contiguo, semplificando la configurazione del dispositivo ed eliminando la necessità di impostare manualmente le dimensioni delle pagine dello scratchpad. La libreria NKI aggiunge 14 nuovi kernel sperimentali che coprono le operazioni collettive di addestramento MoE, la deformable attention, la proiezione DeepSeek MLA e la ring attention, insieme a implementazioni di riferimento PyTorch. Neuron Explorer aggiunge il collegamento al codice sorgente in System Trace Viewer e un raggruppamento predefinito aggiornato per un migliore debug dei carichi di lavoro.
Per iniziare, consulta le seguenti risorse:
AWS Neuron è disponibile in tutte le regioni AWS in cui sono supportate le istanze Amazon EC2 Trn1, Trn2, Trn3, Inf2 e Inf1. Per informazioni sulla disponibilità regionale, consulta la tabella delle regioni AWS.