AWS Neuron 2.33 aggiunge il supporto nativo per PyTorch, Neuron Observer e altre nuove funzionalità
AWS Neuron 2.33 è ora disponibile e introduce TorchNeuron, il backend PyTorch nativo per AWS Trainium, in versione beta pubblica. Puoi eseguire modelli scritti con le API PyTorch standard su istanze Amazon EC2 Trn2 e Trn3, in modalità eager o con torch.compile. Questa versione introduce anche Neuron Observer in beta pubblica, che rileva i problemi di stato di salute di Trainium in meno di un secondo e individua il nodo o il dispositivo interessato.
Il plugin vLLM Neuron viene aggiornato a vLLM 0.29.0 e il plugin vLLM Omni Neuron per la generazione video Wan2.2 fa ora parte della release di Neuron. Entrambi supportano la compilazione PyTorch nativa tramite TorchNeuron. Una nuova AMI per il deep learning di Neuron e un Deep Learning Container per l'addestramento PyTorch includono TorchNeuron, PyTorch 2.14 e TorchTitan. Neuron Explorer apre i profili acquisiti con torch.profiler. A partire da uno snapshot di memoria di PyTorch, ora attribuisce le allocazioni alle righe del codice sorgente Python che le hanno generate, per il debug degli errori di memoria esaurita in modalità eager.
I kernel scritti con la Neuron Kernel Interface (NKI) possono ora utilizzare l'intero linguaggio Python per la metaprogrammazione, inclusi i generatori e l'ereditarietà delle classi. La libreria NKI aggiunge 25 nuovi kernel sperimentali, inclusi i kernel per DeepSeek-V3.2, Qwen3.5 e Kimi Delta Attention.
Per iniziare, consulta le seguenti risorse: