AWS Neuron 2.32 menghadirkan pemrograman NKI yang diperluas, kernel pelatihan MXFP8, serta operasi kolektif dengan ukuran variabel untuk Trn2 dan Trn
AWS Neuron 2.32.0 kini tersedia, memperkenalkan NKI 0.6.0 dengan instruksi top-K di perangkat, `all-gather` dengan panjang variabel untuk kernel yang peringkatnya menyimpan tensor dengan ukuran berbeda, dan konstruksi loop baru untuk iterasi yang bergantung pada data.
Rilis ini juga memperkenalkan 13 kernel NKI Library baru untuk pelatihan Mixture of Experts (MoE) dan perhatian jarang, serta keterampilan Neuron Agentic Development baru yang memindahkan model transformator ke plugin vLLM Neuron. Kernel Perpustakaan NKI mencakup pengkodean konteks untuk perhatian laten multi-kepala jarang DeepSeek-V3.2, perhatian MXFP8 untuk langkah dekode, dan lintasan maju dan mundur MXFP8 yang cocok yang memungkinkan lapisan MoE blok demi blok dilatih dari ujung ke ujung di MXFP8, dengan implementasi referensi PyTorch untuk 22 kernel tambahan.
Neuron Runtime menambahkan kolektif all-gather, reduce-scatter, dan all-to-all dengan ukuran variabel pada Trn2 dan Trn3, memungkinkan setiap peringkat untuk menyumbangkan atau menerima jumlah elemen yang berbeda. Plugin vLLM Neuron beralih ke vLLM 0.24.0 dan disertakan dalam semua AMI Deep Learning Neuron serta Kontainer Deep Learning. Neuron Compiler menambahkan kontrol eksplisit atas kompilasi bilangan bulat 64-bit, dan Neuron Explorer menambahkan data penggunaan CPU host per inti ke dalam System Trace Viewer.
AWS Neuron tersedia di semua AWS Region tempat instans Amazon EC2 Trn1, Trn2, Trn3, Inf2, dan Inf1 tersedia. Untuk informasi selengkapnya tentang ketersediaan Regional, lihat tabel AWS Region.
Untuk memulai, lihat sumber daya berikut: