AWS Neuron 2.33 menambahkan dukungan PyTorch asli, Neuron Observer, dan fitur baru lainnya
AWS Neuron 2.33 kini tersedia, memperkenalkan TorchNeuron, backend PyTorch asli untuk AWS Trainium, dalam versi beta publik. Anda dapat menjalankan model yang ditulis dengan API PyTorch standar pada instans Amazon EC2 Trn2 dan Trn3, dalam mode eager atau dengan torch.compile. Rilis ini juga memperkenalkan Neuron Observer dalam versi beta publik, yang mendeteksi masalah kesehatan Trainium dalam waktu kurang dari satu detik dan mengidentifikasi simpul atau perangkat yang terpengaruh.
Plugin vLLM Neuron ditingkatkan ke vLLM 0.29.0, dan plugin vLLM Omni Neuron untuk pembuatan video Wan2.2 sekarang menjadi bagian dari rilis Neuron. Keduanya mendukung kompilasi PyTorch asli melalui TorchNeuron. Neuron Deep Learning AMI dan Deep Learning Container yang baru untuk pelatihan PyTorch mencakup TorchNeuron, PyTorch 2.14, dan TorchTitan. Neuron Explorer membuka profil yang direkam dengan torch.profiler. Dari snapshot memori PyTorch, kini alokasi dikaitkan dengan baris kode sumber Python yang membuatnya, untuk men-debug kesalahan kehabisan memori dalam mode eager.
Kernel yang ditulis dengan Antarmuka Kernel Neuron (NKI) kini dapat menggunakan bahasa Python secara penuh untuk metaprogramming, termasuk generator dan pewarisan kelas. Perpustakaan NKI menambahkan 25 kernel eksperimental baru, termasuk kernel untuk DeepSeek-V3.2, Qwen3.5, dan Kimi Delta Attention.
Untuk memulai, lihat sumber daya berikut: