AWS Neuron 2.31.0 kini tersedia dengan NKI 0.5.0 dan UltraServer Operator
AWS Neuron 2.31.0 kini tersedia, memperkenalkan NKI 0.5.0 dengan dukungan skala dtype MX FP8 baru, pengalihan tensor pada operasi komputasi untuk instruksi yang lebih sedikit dalam pola akses terindeks, dan API tampilan NkiTensor baru untuk transformasi tata letak tensor tanpa biaya. Rilis ini juga memperkenalkan Neuron UltraServer Operator untuk Amazon EKS dalam versi beta publik, yang mengotomatiskan penemuan UltraServer, alokasi beban kerja, dan pembuatan klaim sumber daya untuk beban kerja Trainium UltraServer di Amazon EKS.
Neuron Compiler menyertakan backend pembangkitan kode yang didesain ulang dan kini diaktifkan secara default pada Trn2 dan Trn3, sehingga memberikan peningkatan kinerja. Neuron Runtime menambahkan dukungan untuk scratchpad bersama yang berdekatan, menyederhanakan konfigurasi perangkat dengan menghilangkan kebutuhan untuk mengatur ukuran halaman scratchpad secara manual. Pustaka NKI menambahkan 14 kernel eksperimental baru yang mencakup kolektif pelatihan MoE, perhatian deformabel, proyeksi DeepSeek MLA, dan perhatian cincin, bersama dengan implementasi referensi PyTorch. Neuron Explorer menambahkan tautan kode sumber System Trace Viewer dan pengelompokan default yang diperbarui untuk peningkatan debugging beban kerja.
Untuk memulai, lihat sumber daya berikut:
AWS Neuron tersedia di semua AWS Region tempat instans Amazon EC2 Trn1, Trn2, Trn3, Inf2, dan Inf1 tersedia. Untuk informasi selengkapnya tentang ketersediaan Regional, lihat tabel AWS Region.