AWS Neuron เปิดตัว NxD Inference รุ่นความพร้อมใช้งานทั่วไป (GA) พร้อมด้วยฟีเจอร์ใหม่และเครื่องมือที่ได้รับการปรับปรุงให้ดีขึ้น
วันนี้ AWS ประกาศเปิดตัว Neuron 2.23 ซึ่งมีการปรับปรุงประสิทธิภาพทั้งในด้านการอนุมาน ความสามารถในการฝึกอบรม และเครื่องมือสำหรับนักพัฒนา การเปิดตัวครั้งนี้ได้ย้ายไลบรารี NxD Inference (NxDI) ไปสู่รุ่นความพร้อมใช้งานทั่วไป (GA) พร้อมแนะนำความสามารถในการฝึกใหม่ ๆ ซึ่งรวมถึง Context Parallelism และ ORPO รวมถึงเพิ่มการรองรับ PyTorch 2.6 และ JAX 0.5.3
ไลบรารี NxD Inference ได้ย้ายจากรุ่นเบต้ามาเป็นรุ่นความพร้อมใช้งานทั่วไป (GA) แล้ว ซึ่งขณะนี้แนะนำให้ใช้สำหรับกรณีการใช้งานการอนุมานแบบหลายชิปทั้งหมด การปรับปรุงที่สำคัญได้แก่ การรองรับ Persistent Cache เพื่อลดเวลาในการคอมไพล์ และปรับเวลาในการโหลดโมเดลให้มีประสิทธิภาพมากขึ้น
สำหรับเวิร์กโหลดการฝึก ไลบรารี NxD Training ได้เพิ่มการรองรับ Context Parallelism (เวอร์ชัน Beta) สำหรับโมเดล Llama ซึ่งช่วยให้สามารถใช้ความยาวลำดับได้สูงสุดถึง 32K การเปิดตัวครั้งนี้ได้เพิ่มการรองรับการจัดแนวโมเดลโดยใช้ ORPO ร่วมกับชุดข้อมูล DPO-style และได้อัปเกรดการรองรับไลบรารีของบุคคลที่สาม โดยเฉพาะอย่างยิ่ง ได้แก่ PyTorch Lightning 2.5, Transformers 4.48 และ NeMo 2.1
Neuron Kernel Interface (NKI) ได้นำเสนอการดำเนินการจำนวนเต็ม 32 บิตใหม่, ฟีเจอร์ ISA ที่ได้รับการปรับปรุงสำหรับ Trainium2 และ API การปรับแต่งประสิทธิภาพใหม่ ๆ ขณะนี้ Neuron Profiler มีความสามารถในการแสดงผลการโปรไฟล์ได้เร็วขึ้นถึง 5 เท่า, การติดตามข้อผิดพลาดตามไทม์ไลน์ และการแสดงข้อมูลด้วยภาพแบบหลายกระบวนการที่ได้รับการปรับปรุงให้ดีขึ้นด้วย Perfetto
AWS Neuron SDK รองรับการฝึกและใช้งานโมเดลบนอินสแตนซ์ Trn1, Trn2 และ Inf2 ซึ่งมีให้บริการใน AWS Region ในรูปแบบ On-Demand Instance, Reserved Instance, Spot Instance หรือเป็นส่วนหนึ่งของ Savings Plan
สำหรับรายการฟีเจอร์ใหม่และการปรับปรุงทั้งหมดใน Neuron 2.23 และเพื่อเริ่มต้นใช้งาน Neuron โปรดดูรายการต่อไปนี้