AWS Neuron SDK 2.29.0 è ora disponibile con NKI e Neuron Explorer che escono dalla versione Beta, un nuovo simulatore di CPU e una libreria NKI ampliata
In questa versione, AWS Neuron SDK 2.29.0 promuove la Neuron Kernel Interface (NKI) dalla versione Beta a quella Stable con la versione 0.3.0. NKI offre agli sviluppatori l'accesso diretto alla programmazione di basso livello per i NeuronCore di AWS Trainium e AWS Inferentia utilizzando una sintassi basata su Python. Questa versione introduce la NKI Standard Library, che espone il codice sorgente visibile agli sviluppatori per tutte le API NKI e gli oggetti del linguaggio nativo. Contiene inoltre un nuovo simulatore di CPU che consente agli sviluppatori di scrivere, testare ed eseguire il debug dei kernel NKI localmente su CPU standard, senza richiedere hardware Trainium, utilizzando gli strumenti di debug standard di Python. NKI 0.3.0 aggiunge inoltre nuove funzionalità a livello di ISA, tra cui un'istruzione esponenziale dedicata, il controllo dell'accumulo matmul, impostazioni di priorità DMA per Trn3 e collettive “da tutto a tutto” (all-to-all) a lunghezza variabile.
La libreria NKI si amplia con 7 nuovi kernel sperimentali che coprono Conv1D, un megakernel per la generazione di token Transformer multistrato, primitive fuse di comunicazione-calcolo per Trainium2 e operazioni di tiling dinamico. Anche i kernel esistenti ricevono miglioramenti. Attention CTE scala a dimensioni dei batch e lunghezze di sequenza maggiori, MLP aggiunge percorsi di quantizzazione a precisione mista e MoE TKG introduce un algoritmo dinamico "all-expert".
Per l'inferenza, NxD Inference migliora il supporto per i modelli linguistici di visione con ottimizzazioni per Qwen3 VL e Qwen2 VL, inclusi il parallelismo di sequenza per i modelli testuali e il parallelismo dei dati di visione. Il plug-in vLLM Neuron è stato aggiornato alla versione 0.5.0.
Anche Neuron Explorer, la suite di strumenti di profilazione e debug di Neuron, passa dalla versione Beta a quella Stable. Il System Trace Viewer ora supporta il set completo di widget Device per l'analisi del profilo multi-dispositivo e lo strumento è disponibile sul Marketplace delle estensioni di VS Code per un'installazione semplificata. Per i dettagli completi sulla versione, consulta le note di rilascio di AWS Neuron SDK 2.29.0.
L'SDK è disponibile in tutte le regioni AWS che supportano le istanze Inferentia e Trainium.
Ulteriori informazioni: