AWS Neuron นำเสนอ Neuron Kernel Interface (NKI), NxD Training และการรองรับ JAX สำหรับการฝึก
วันนี้ AWS ประกาศเปิดตัว Neuron 2.20 ซึ่งนำเสนอ Neuron Kernel Interface (NKI) (เบต้า) ที่เป็นอินเทอร์เฟซการเขียนโปรแกรมสำหรับ AWS Trainium และ Inferentia ทำให้นักพัฒนาสามารถสร้างเคอร์เนลประมวลผลแบบเพิ่มประสิทธิภาพสำหรับฟังก์ชันการทำงาน การเพิ่มประสิทธิภาพ และนวัตกรรมทางวิทยาศาสตร์ใหม่ได้ นอกจากนั้น รุ่นนี้ยังนำเสนอ NxD Training (เบต้า) ซึ่งเป็นไลบรารีที่ใช้ PyTorch ที่ทำให้การฝึกแบบกระจายมีประสิทธิภาพ ทั้งยังมาพร้อมกับอินเทอร์เฟซที่ใช้งานง่ายและเข้ากันได้กับ NeMo รุ่นนี้ยังนำเสนอการรองรับเฟรมเวิร์ก JAX (เบต้า) อีกด้วย
AWS Neuron คือ SDK สำหรับอินสแตนซ์ที่ใช้ AWS Inferentia และ Trainium ที่สร้างขึ้นมาเพื่อ AI ช่วยสร้างโดยเฉพาะ Neuron ผสานการทำงานเข้ากับเฟรมเวิร์ก ML ยอดนิยมต่าง ๆ เช่น PyTorch โดยประกอบด้วยคอมไพเลอร์ รันไทม์ เครื่องมือ และไลบรารีเพื่อรองรับการฝึกและการอนุมานที่มีประสิทธิภาพสูงของโมเดล AI บนอินสแตนซ์ Trn1 และ Inf2
รุ่นนี้เพิ่มฟีเจอร์การรองรับและการปรับปรุงประสิทธิภาพสำหรับการฝึกและการอนุมานโมเดล สำหรับการฝึก รุ่นนี้เพิ่มการรองรับโมเดล Llama 3.1 8B และ 70B ที่ความยาวลำดับสูงสุด 32K พร้อมด้วย torch.autocast() สำหรับการรองรับความแม่นยำแบบผสมผสานของ PyTorch แบบเนทีฟและเทคนิค PEFT LoRA สำหรับการอนุมาน Neuron 2.20 เพิ่มการรองรับโมเดล Llama 3.1 (405b, 70b, 8b) และ Diffusion-Transformers (DiT) เช่น Pixart-alpha และ Pixart-sigma นอกจากนั้น รุ่นนี้ยังเพิ่มการรองรับการอนุมานด้วยการสุ่มตัวอย่าง Top-P บนอุปกรณ์และความยาวบริบท 128K ด้วยการถอดรหัสแบบแฟลช รุ่นนี้ยังเพิ่มการรองรับระบบปฏิบัติการ Rocky 9.0 และตัวดำเนินการ RMSNorm และ RMSNormDx ใน Neuron Compiler อีกด้วย
สำหรับข้อมูลเพิ่มเติม โปรดดูบันทึกประจำรุ่นของ Neuron