AWS Neuron SDK 2.29.0 sekarang tersedia dengan NKI dan Neuron Explorer keluar dari Beta, Simulator CPU baru, dan Perpustakaan NKI yang diperluas
Dalam rilis ini, AWS Neuron SDK 2.29.0 mempromosikan Antarmuka Kernel Neuron (NKI) dari Beta ke Stabil dengan versi 0.3.0. NKI memberi pengembang akses pemrograman tingkat rendah langsung ke AWS Trainium dan AWS Inferentia NeuronCores menggunakan sintaks berbasis Python. Rilis ini memperkenalkan Pustaka Standar NKI, yang mengekspos kode sumber yang terlihat pengembang untuk semua API NKI dan objek bahasa asli. Ini juga berisi Simulator CPU baru yang memungkinkan pengembang menulis, menguji, dan men-debug kernel NKI secara lokal pada CPU standar, tanpa memerlukan perangkat keras Trainium, menggunakan alat debugging Python standar. NKI 0.3.0 juga menambahkan fitur tingkat ISA baru termasuk instruksi eksponensial khusus, kontrol akumulasi matmul, pengaturan prioritas DMA untuk Trn3, dan kolektif all-to-all panjang variabel.
Perpustakaan NKI berkembang dengan 7 kernel eksperimental baru yang mencakup Conv1D, megakernel generasi token Transformer multi-layer, primitif komputasi komunikasi yang menyatu untuk Trainium2, dan operasi ubin dinamis. Kernel yang ada juga menerima peningkatan. Perhatian CTE skala ke ukuran batch dan panjang urutan yang lebih besar, MLP menambahkan jalur kuantisasi presisi campuran, dan MoE TKG memperkenalkan algoritma all-expert yang dinamis.
Untuk inferensi, Inferensi NxD meningkatkan dukungan model bahasa penglihatan dengan pengoptimalan untuk Qwen3 VL dan Qwen2 VL, termasuk paralelisme urutan model teks dan paralelisme data penglihatan. vLLM Neuron Plugin diperbarui ke versi 0.5.0.
Neuron Explorer, rangkaian alat pembuatan profil dan debugging Neuron, juga bergerak dari Beta ke Stable. System Trace Viewer sekarang mendukung set lengkap widget Perangkat untuk analisis profil multi-perangkat, dan alat ini tersedia di VS Code Extension Marketplace untuk instalasi yang efisien. Untuk detail rilis lengkap, lihat catatan rilis AWS Neuron SDK 2.29.0.
SDK tersedia di semua AWS Region yang mendukung instans Inferentia dan Trainium.
Pelajari Selengkapnya: