AWS Neuron 2.33 เพิ่มการสนับสนุน PyTorch แบบเนทีฟ, Neuron Observer และฟีเจอร์ใหม่อื่นๆ
AWS Neuron 2.33 พร้อมให้บริการแล้วในขณะนี้ ขอแนะนำ TorchNeuron ซึ่งเป็นแบ็กเอนด์ของ PyTorch แบบเนทีฟสำหรับ AWS Trainium ในเบต้าสาธารณะ คุณสามารถเรียกใช้โมเดลที่เขียนด้วย PyTorch API มาตรฐานบนอินสแตนซ์ Amazon EC2 Trn2 และ Trn3 ได้ในโหมดอีเกอร์หรือด้วย torch.compile รุ่นนี้ยังมีการเปิดตัว Neuron Observer ในเบต้าสาธารณะอีกด้วย ซึ่งจะตรวจจับปัญหาสถานะของ Trainium และระบุโหนดหรืออุปกรณ์ที่ได้รับผลกระทบได้ภายในไม่กี่วินาที
ปลั๊กอิน vLLM Neuron จะอัปเกรดเป็น vLLM 0.29.0 และปลั๊กอิน vLLM Omni Neuron สำหรับการสร้างวิดีโอ Wan2.2 รวมเป็นส่วนหนึ่งของการเปิดตัว Neuron แล้วในขณะนี้ ทั้งสองปลั๊กอินรองรับการคอมไพล์ PyTorch แบบเนทีฟผ่าน TorchNeuron Neuron Deep Learning AMI แบบใหม่และคอนเทนเนอร์ดีปเลิร์นนิงสำหรับการฝึกอบรม PyTorch ได้แก่ TorchNeuron, PyTorch 2.14 และ TorchTitan Neuron Explorer จะเปิดโปรไฟล์ที่จับภาพเอาไว้ด้วย torch.profiler จากสแนปชอตหน่วยความจำของ PyTorch ต่อไปนี้จะกำหนดการจัดสรรให้กับบรรทัดต่างๆ ของซอร์สโค้ด Python ที่สร้างขึ้น เพื่อการดีบั๊กภายนอกหน่วยความจำในโหมดอีเกอร์
เคอร์เนลที่เขียนด้วย Neuron Kernel Interface (NKI) สามารถใช้ภาษา Python ได้เต็มรูปแบบสำหรับการเขียนโปรแกรมเมตา รวมถึงเจเนอเรเตอร์และการสืบทอดคลาส ไลบรารี NKI เพิ่มเคอร์เนลทดลองใหม่ 25 เคอร์เนล รวมถึงเคอร์เนลสำหรับ DeepSeek-V3.2, Qwen3.5 และ Kimi Delta Attention
หากต้องการเริ่มต้นใช้งาน ให้ดูทรัพยากรต่อไปนี้