AWS Neuron 2.31.0 متوفر الآن مع NKI 0.5.0 ومشغل UltraServer
يتوفر AWS Neuron 2.31.0 الآن، حيث يقدم NKI 0.5.0 مع دعم نوع MX FP8 scale dtype الجديد، والتوجيه غير المباشر لـ tensor في عمليات الحوسبة للحصول على تعليمات أقل في أنماط الوصول المفهرسة، وواجهات برمجة تطبيقات عرض nKitensor الجديدة لتحويلات تخطيط tensor بدون تكلفة. يقدم هذا الإصدار أيضًا مشغل Neuron UltraServer لـ Amazon EKS في الإصدار التجريبي العام، والتي تقوم بأتمتة اكتشاف UltraServer وتخصيص عبء العمل وتوليد المطالبة بالموارد لأعباء عمل Trainium UltraServer على Amazon EKS.
يشتمل برنامج Neuron Compiler على واجهة خلفية مُعاد تصميمها لتوليد التعليمات البرمجية تم تمكينها الآن افتراضيًا على Trn2 وTrn3، مما يوفر أداءً محسنًا. يضيف وقت تنفيذ Neuron دعمًا متجاورًا لمساحة scratchpad المشتركة المتجاورة، مما يبسط تكوين الجهاز من خلال التخلص من الحاجة إلى تعيين أحجام صفحات scratchpad يدويًا. تضيف مكتبة NKI 14 نواة تجريبية جديدة تغطي عمليات التجميع لتدريب MoE، والانتباه القابل للتشوه، وإسقاط DeepSeek MLA، والانتباه الدائري، جنبًا إلى جنب مع تطبيقات PyTorch المرجعية. يضيف Neuron Explorer ربط التعليمة البرمجية المصدرية بـ System Trace Viewer والتجميع الافتراضي المحدث لتحسين تصحيح أخطاء أعباء العمل.
للبدء، راجع الموارد التالية:
تتوفر AWS Neuron في جميع مناطق AWS التي تتوفر فيها مثيلات Amazon EC2 Trn1 وTrn2 وTrn3 وInf2 وInf1. لمزيد من المعلومات عن التوفر الإقليمي، طلع على جدول منطقة AWS.