AWS Neuron SDK 2.29.0 พร้อมใช้งานแล้ว โดยมี NKI และ Neuron Explorer ออกจากสถานะ Beta, เครื่องจำลอง CPU ใหม่ และไลบรารี NKI ที่ขยายเพิ่มเติม
ในรุ่นนี้ AWS Neuron SDK 2.29.0 ได้ยกระดับ Neuron Kernel Interface (NKI) จากสถานะ Beta เป็น Stable ด้วยเวอร์ชัน 0.3.0 NKI ช่วยให้นักพัฒนาสามารถเข้าถึงการเขียนโปรแกรมระดับภาพรวมได้โดยตรงสำหรับ AWS Trainium และ AWS Inferentia NeuronCores โดยใช้ไวยากรณ์ที่อิงกับ Python รุ่นนี้ยังแนะนำ NKI Standard Library ซึ่งเปิดเผยซอร์สโค้ดที่นักพัฒนาสามารถเข้าถึงได้สำหรับ NKI API ทั้งหมดและออบเจ็กต์ของภาษาแบบเนทีฟอีกด้วย นอกจากนี้ยังมี CPU Simulator ใหม่ ที่ช่วยให้นักพัฒนาสามารถเขียน ทดสอบ และแก้ไขข้อพกพร่องของเคอร์เนล NKI บน CPU มาตรฐานในเครื่องได้ โดยไม่ต้องใช้ฮาร์ดแวร์ Trainium และสามารถใช้เครื่องมือดีบัก Python มาตรฐานได้อีกด้วย NKI 0.3.0 ยังเพิ่มฟีเจอร์ระดับ ISA ใหม่ ได้แก่ คำสั่ง Exponential แบบเฉพาะ, การควบคุมการสะสมผลของ Matmul, การตั้งค่าลำดับความสำคัญของ DMA สำหรับ Trn3 และการสื่อสารแบบ All-to-All ที่มีความยาวผันแปรได้
ไลบรารี NKI ได้ขยายเพิ่มเติมด้วยเคอร์เนลทดลองใหม่ 7 รายการ ซึ่งครอบคลุม Conv1D, เมกะเคอร์เนลสำหรับการสร้างโทเค็นของตัวแปลงข้อมูลแบบหลายเลเยอร์, Primitive แบบผสานการสื่อสารและการคำนวณสำหรับ Trainium2 และการดำเนินการทำไทล์แบบไดนามิก เคอร์เนลที่มีอยู่เดิมยังได้รับการปรับปรุงให้ดีขึ้นอีกด้วย โดย Attention CTE รองรับขนาดระดับแบทช์ และความยาวลำดับที่ใหญ่ขึ้น, MLP เพิ่มเส้นทาง Quantization แบบผสมความแม่นยำ และ MoE TKG เพิ่มอัลกอริทึม All-Expert แบบไดนามิก
สำหรับงานการอนุมาน NxD Inference ได้ปรับปรุงการรองรับโมเดลภาษาเวอร์ชัน โดยเพิ่มประสิทธิภาพสำหรับ Qwen3 VL และ Qwen2 VL รวมถึงรองรับการประมวลผลแบบขนานเชิงข้อมูลสำหรับโมเดลข้อความ และการประมวลผลแบบขนานเชิงลำดับสำหรับข้อมูลภาพ พร้อมทั้งอัปเดต vLLM Neuron Plugin เป็นเวอร์ชัน 0.5.0
Neuron Explorer ซึ่งเป็นชุดเครื่องมือสำหรับการสร้างโปรไฟล์และการแก้ไขข้อบกพร่องของ Neuron ได้ย้ายจากสถานะ Beta เป็น Stable แล้ว ขณะนี้ System Trace Viewer รองรับชุดวิดเจ็ตเครื่องมือครบทุกรายการสำหรับการวิเคราะห์โปรไฟล์แบบหลายอุปกรณ์ และเครื่องมือนี้พร้อมใช้งานบน VS Code Extension Marketplace เพื่อการติดตั้งที่สะดวกยิ่งขึ้น ดูรายละเอียดการเปิดตัวทั้งหมดได้ที่บันทึกย่อประจำรุ่น AWS Neuron SDK 2.29.0
SDK นี้พร้อมใช้งานใน AWS Region ทุกแห่งที่รองรับอินสแตนซ์ Inferentia และ Trainium
เรียนรู้เพิ่มเติม: