AWS Neuron 2.31.0 พร้อมใช้งานแล้วพร้อมกับ NKI 0.5.0 และ UltraServer Operator
AWS Neuron 2.31.0 พร้อมใช้งานแล้ว โดยนำเสนอ NKI 0.5.0 พร้อมการรองรับ MX FP8 scale dtype ใหม่ การอ้างอิงเทนเซอร์ในการดำเนินการประมวลผลเพื่อลดจำนวนคำสั่งในรูปแบบการเข้าถึงแบบดัชนี และ API มุมมอง NkiTensor ใหม่สำหรับการแปลงเค้าโครงเทนเซอร์โดยไม่มีค่าใช้จ่ายเพิ่มเติม ในการเปิดตัวครั้งนี้ ยังมีการเปิดตัว Neuron UltraServer Operator สำหรับ Amazon EKS ในเวอร์ชันเบต้าสาธารณะ ซึ่งจะช่วยค้นหา UltraServer จัดสรรเวิร์กโหลด และสร้างการอ้างสิทธิ์ทรัพยากรสำหรับเวิร์กโหลด Trainium UltraServer บน Amazon EKS โดยอัตโนมัติ
คอมไพเลอร์ Neuron มาพร้อมกับแบ็กเอนด์การสร้างโค้ดที่ได้รับการออกแบบใหม่ ซึ่งเปิดใช้งานโดยค่าเริ่มต้นใน Trn2 และ Trn3 ช่วยให้ประสิทธิภาพดีขึ้น Neuron Runtime เพิ่มการรองรับพื้นที่บันทึกข้อมูลแบบต่อเนื่องที่ใช้ร่วมกัน ทำให้การกำหนดค่าอุปกรณ์ง่ายขึ้นโดยไม่จำเป็นต้องตั้งค่าขนาดหน้าของพื้นที่บันทึกข้อมูลด้วยตนเอง ไลบรารี NKI เพิ่มเคอร์เนลทดลองใหม่ 14 รายการ ครอบคลุมกลุ่มการฝึกอบรม MoE, การโฟกัสข้อมูลที่เปลี่ยนแปลงได้, การฉายภาพ DeepSeek MLA และการโฟกัสข้อมูลแบบวงแหวน พร้อมด้วยการใช้งานอ้างอิงใน PyTorch Neuron Explorer เพิ่มฟังก์ชันการเชื่อมโยงซอร์สโค้ดของ System Trace Viewer และการจัดกลุ่มเริ่มต้นที่ได้รับการปรับปรุงเพื่อการแก้ไขข้อบกพร่องของเวิร์กโหลดที่ดีขึ้น
หากต้องการเริ่มต้นใช้งาน ให้ดูทรัพยากรต่อไปนี้
AWS Neuron พร้อมใช้งานใน AWS Region ทุกแห่งที่มีอินสแตนซ์ Amazon EC2 Trn1, Trn2, Trn3, Inf2 และ Inf1 ให้บริการแล้ว ดูข้อมูลเพิ่มเติมเกี่ยวกับความพร้อมใช้งานในระดับรีเจี้ยนได้ที่ตาราง AWS Region