AWS Neuron 2.32 introduce la programmazione NKI estesa, i kernel di addestramento MXFP8 e le operazioni collettive a dimensione variabile per Trn2 e Trn
AWS Neuron 2.32.0 è ora disponibile e introduce NKI 0.6.0 con un'istruzione top-K sul dispositivo, un'operazione di all-gather a lunghezza variabile per kernel i cui rank contengono tensori di dimensioni diverse e nuovi costrutti di ciclo per l'iterazione dipendente dai dati.
Questa versione introduce inoltre 13 nuovi kernel nella libreria NKI dedicati all'addestramento di Mixture of Experts (MoE) e ai meccanismi di attenzione sparsa, oltre a una nuova funzionalità di Neuron Agentic Development che consente di effettuare il porting dei modelli di trasformatore sul plugin vLLM Neuron. I kernel della libreria NKI coprono la codifica del contesto per l'attenzione latente sparsa multi-head di DeepSeek-V3.2, l'attenzione MXFP8 per la fase di decodifica e passaggi forward e backward in MXFP8 abbinati che consentono ai layer MoE a blocchi di effettuare l'addestramento end-to-end in MXFP8, con implementazioni di riferimento PyTorch per ulteriori 22 kernel.
Neuron Runtime aggiunge operazioni collettive all-gather, reduce-scatter e all-to-all a dimensione variabile su Trn2 e Trn3, consentendo a ciascun rank di inviare o ricevere un numero differente di elementi. Il plugin vLLM Neuron passa alla versione vLLM 0.24.0 ed è incluso in tutte le Neuron Deep Learning AMI e nei Deep Learning Container. Il Neuron Compiler aggiunge il controllo esplicito sulla compilazione di interi a 64 bit, mentre Neuron Explorer integra il monitoraggio dell'utilizzo della CPU host per singolo core all'interno del System Trace Viewer.
AWS Neuron è disponibile in tutte le regioni AWS in cui sono supportate le istanze Amazon EC2 Trn1, Trn2, Trn3, Inf2 e Inf1. Per informazioni sulla disponibilità regionale, consulta la tabella delle regioni AWS.
Per iniziare, consulta le seguenti risorse: