تقدم AWS Neuron ميزة NxD Inference للتوافر العام وميزات جديدة وأدوات محسّنة
تعلن AWS اليوم عن إصدار Neuron 2.23، الذي يتميز بتحسينات عبر الاستدلال وإمكانات التدريب وأدوات المطور. ينقل هذا الإصدار مكتبة NxD Inference (NxDi) إلى التوافر العام (GA)، ويقدم إمكانات تدريب جديدة، بما في ذلك توازي السياق وORPO، ويضيف دعمًا لـ PyTorch 2.6 وJAX 0.5.3.
تنتقل مكتبة NxD Inference من الإصدار التجريبي إلى التوفر العام، ويوصى بها الآن لجميع حالات استخدام الاستدلال المتعدد الشرائح. تتضمن التحسينات الرئيسية دعم ذاكرة التخزين المؤقت الدائمة لتقليل أوقات التجميع ووقت تحميل النموذج المحسن.
بالنسبة إلى أعباء العمل التدريبية، تقدم مكتبة NxD Training دعم التوازي السياقي (تجريبي) لنماذج Llama، وهو ما يتيح استخدام أطوال تسلسلية حتى 32 ألفًا. يضيف الإصدار دعمًا لمحاذاة النموذج باستخدام ORPO مع مجموعات بيانات على نمط DPO، ودعمًا مطورًا لمكتبات الطرف الثالث، وتحديدًا: PyTorch Lightning 2.5 وTransformers 4.48 وNeMO 2.1.
تقدم واجهة Kernel العصبية (NKI) عمليات عدد صحيح 32 بت جديدة وميزات ISA محسنة لـ Trainium2 وواجهات برمجة تطبيقات جديدة لضبط الأداء. يوفر Neuron Profiler الآن عرضًا أسرع لنتائج الملف التعريفي بمعدل 5 مرات، وتتبع الأخطاء المستند إلى الجدول الزمني، وتصورًا محسنًا متعدد العمليات باستخدام Perfetto.
تدعم AWS Neuron SDK تدريب النماذج ونشرها على مثيلات Trn1 وTrn2 وInf2، المتوفرة في مناطق AWS كمثيلات عند الطلب أو مثيلات محجوزة أو مثيلات Spot أو جزء من خطة التوفير.
للحصول على قائمة كاملة بالميزات والتحسينات الجديدة في Neuron 2.23 والبدء في استخدام Neuron، اطلع على: