AWS Neuron 2.32 เปิดตัวการเขียนโปรแกรม NKI ที่ขยายเพิ่มขึ้น, เคอร์เนลการฝึก MXFP8 และการดำเนินการแบบกลุ่มที่มีขนาดแปรผันสำหรับ Trn2 และ Trn
ขณะนี้ AWS Neuron 2.32.0 พร้อมใช้งานแล้ว โดยเปิดตัว NKI 0.6.0 พร้อมคำสั่ง top-K บนอุปกรณ์, `all-gather` แบบความยาวแปรผันสำหรับเคอร์เนลที่มี Rank ซึ่งเก็บเทนเซอร์ที่มีขนาดแตกต่างกัน และโครงสร้างลูปใหม่สำหรับรอบการวนซ้ำที่ขึ้นอยู่กับข้อมูล
นอกจากนี้ รุ่นนี้ยังเปิดตัวเคอร์เนล NKI Library ใหม่ 13 รายการสำหรับการฝึก Mixture of Experts (MoE) และ Sparse Attention รวมถึงทักษะ Neuron Agentic Development ใหม่ที่พอร์ตโมเดลตัวแปลงข้อมูลไปยังปลั๊กอิน vLLM Neuron อีกด้วย เคอร์เนล NKI Library ครอบคลุมการเข้ารหัสบริบทสำหรับ Sparse Multi-Head Latent Attention ของ DeepSeek-V3.2, MXFP8 Attention สำหรับขั้นตอนการถอดรหัส และ Forward Pass และ Backward Pass ของ MXFP8 ที่จับคู่กัน ซึ่งช่วยให้เลเยอร์ MoE แบบ Blockwise สามารถฝึกแบบครบวงจรใน MXFP8 พร้อมการนำไปใช้อ้างอิงของ PyTorch สำหรับเคอร์เนลเพิ่มเติม 22 รายการ
Neuron Runtime เพิ่มการดำเนินการแบบกลุ่ม all-gather, reduce-scatter และ all-to-all ที่มีขนาดแปรผันบน Trn2 และ Trn3 ซึ่งช่วยให้แต่ละ Rank สามารถส่งหรือรับองค์ประกอบในจำนวนที่แตกต่างกันได้ ปลั๊กอิน vLLM Neuron ย้ายไปใช้ vLLM 0.24.0 และรวมอยู่ใน Neuron Deep Learning AMI และ Deep Learning Container ทั้งหมด Neuron Compiler เพิ่มการควบคุมอย่างชัดเจนสำหรับการคอมไพล์จำนวนเต็ม 64 บิต และ Neuron Explorer เพิ่มการใช้งาน CPU ของโฮสต์ต่อคอร์ใน System Trace Viewer
AWS Neuron พร้อมใช้งานใน AWS Region ทุกแห่งที่มีอินสแตนซ์ Amazon EC2 Trn1, Trn2, Trn3, Inf2 และ Inf1 ให้บริการแล้ว ดูข้อมูลเพิ่มเติมเกี่ยวกับความพร้อมใช้งานในระดับรีเจี้ยนได้ที่ตาราง AWS Region
หากต้องการเริ่มต้นใช้งาน ให้ดูทรัพยากรต่อไปนี้