AWS Neuron rende disponibile al pubblico NxD Inference, nuove funzionalità e strumenti migliorati
Oggi AWS rende disponibile Neuron 2.23, una nuova versione che introduce significativi miglioramenti nelle operazioni di inferenza e nelle funzionalità di addestramento e strumenti per sviluppatori. Questa versione rende disponibile a tutti la libreria NxD Inference (NxDI), introduce nuove funzionalità di addestramento tra cui Context Parallelism e ORPO e aggiunge il supporto per PyTorch 2.6 e JAX 0.5.3.
La libreria NxD Inference, completata la fase di testing in versione beta, è ora disponibile al pubblico e consigliata per tutti i casi d'uso di inferenza che utilizzano architetture multi-chip. Tra i principali miglioramenti si trova il supporto della cache persistente, che permette di ridurre i tempi di compilazione e il tempo di caricamento del modello ottimizzato.
Per i carichi di lavoro di addestramento, la libreria NxD Training introduce il supporto delle tecnica di Parallelizzazione del contesto (beta) per i modelli Llama, che permette di gestire lunghezze di sequenze fino a 32.000 elementi. La nuova versione aggiunge il supporto per l'allineamento dei modelli utilizzando ORPO con set di dati in stile DPO, il supporto aggiornato per le librerie di terze parti, in particolare: PyTorch Lightning 2.5, Transformers 4.48 e NeMo 2.1.
La Neuron Kernel Interface (NKI) introduce nuove operazioni con numeri interi a 32 bit, funzionalità ISA migliorate per Trainium2 e nuove API di ottimizzazione delle prestazioni. Il componente Neuron Profiler ora offre una visualizzazione dei risultati di profilazione cinque volte più veloce, un monitoraggio degli errori basato sulla cronologia e una migliore rappresentazione grafica dei processi multipli grazie all'integrazione con Perfetto.
AWS Neuron SDK consente di addestrare e implementare modelli per le istanze Trn1, Trn2 e Inf2, offerte nelle regioni AWS come istanze on demand, riservate, spot o incluse in Savings Plans.
Per un elenco completo delle nuove funzionalità e dei miglioramenti implementati in Neuron 2.23, nonché per iniziare a utilizzare Neuron, consulta: