AWS Neuron 2.32 يقدم برمجة NKI الموسعة ونوى تدريب MXFP8 ومجموعات متغيرة الحجم لـ Trn2 وTrn
يتوفر الآن إصدار AWS Neuron 2.32.0، والذي يقدم NKI 0.6.0 مدمجًا بتعليمات top-K المعالجة على الجهاز، بالإضافة إلى "التجميع الشامل" متغيّر الطول للنوى التي تمتلك فيها الرتب موترات بأحجام مختلفة، وبنى حلقية جديدة للتكرار الذي يعتمد على البيانات.
ويقدم هذا الإصدار أيضًا 13 نواة لمكتبة NKI جديدة لتدريب مزيج الخبراء (MoE) والاهتمام المتناثر، ومهارة "تطوير وكيل Neuron" الجديدة التي تنقل نماذج المحولات إلى المكون الإضافي vLLM Neuron. تغطي نوى مكتبة NKI ترميز السياق للانتباه الكامن متعدد الرؤوس والمتباعد لنموذج DeepSeek-V3.2، واهتمام MXFP8 لخطوة فك التشفير، وتمرير MXFP8 المتطابق للأمام والخلف الذي يتيح لطبقات MoE المجمعة التدريب من البداية إلى النهاية في MXFP8، مع عمليات تنفيذ PyTorch المرجعية لـ 22 نواة إضافية.
يضيف Neuron Runtime مجموعات التجميع الشامل متغيّر الطول وتقليل التشتت والكل إلى الجميع على Trn2 وTrn3، مما يسمح لكل رتبة بالمساهمة أو تلقي عدد مختلف من العناصر. ينتقل المكون الإضافي vLLM Neuron إلى vLLM 0.24.0 ويتم تضمينه في جميع برامج AMI للتعلم العميق من Neuron وحاويات التعلم العميق. يضيف برنامج Neuron Compiler تحكمًا صريحًا في تجميع الأعداد الصحيحة 64 بت، ويضيف Neuron Explorer استخدام وحدة المعالجة المركزية المضيفة لكل نواة إلى System Trace Viewer.
تتوفر AWS Neuron في جميع مناطق AWS التي تتوفر فيها مثيلات Amazon EC2 Trn1 وTrn2 وTrn3 وInf2 وInf1. لمزيد من المعلومات عن التوفر الإقليمي، طلع على جدول منطقة AWS.
للبدء، راجع الموارد التالية: