تقدم AWS Neuron دعمًا لاستدلال Trainium2 وNxD
واليوم، تعلن AWS عن إطلاق Neuron 2.21، حيث تقدم الدعم لرقائق AWS Trainium2 ومثيلات Amazon EC2 Trn2، بما في ذلك نوع المثيل trn2.48xlarge وTrn2 UltraServer. يضيف هذا الإصدار أيضًا دعمًا لـ PyTorch 2.5 ويقدم دليل NxD وNeuron Profiler 2.0 (إصدار تجريبي). NxD Inference، هي مكتبة جديدة قائمة على PyTorch ومتكاملة مع vLLM، تعمل على تبسيط نشر اللغات الكبيرة والنماذج متعددة الوسائط وتمكّن من إعداد نموذج PyTorch مع الحد الأدنى من التغييرات في التعليمات البرمجية، وNeuron Profiler 2.0 (إصدار تجريبي)، وهي ملف تعريف جديد يعزز القدرات وسهولة الاستخدام، بما في ذلك دعم أعباء العمل الموزعة.
تقدم Neuron 2.21 أيضًا دعم استدلال نموذج Llama 3.1 405B باستخدام استدلال NxD على مثيل trn2.48xlarge واحد. يقوم الإصدار بتحديث حاويات التعليم العميق (DLCs) وAMIs الخاصة بالتعليم العميق (DLAMIs)، ويضيف دعمًا لتصميمات النماذج المختلفة، بما في ذلك نماذج Llama 3.2 وLlama 3.3 وMixture-of-Experts (MoE). تتضمن ميزات الاستدلال الجديدة التحويل الكمي لوزن FP8 وفك التشفير السريع لفك التشفير الذي يمكن تخمينه في Transformers NeuronX (TnX). بالإضافة إلى ذلك، تمت إضافة أمثلة وميزات تدريبية جديدة، مثل دعم HuggingFace Llama 3/3.1 70B على مثيلات Trn2 ودعم DPO لمحاذاة نموذج ما بعد التدريب.
تدعم AWS Neuron SDK تدريب النماذج ونشرها على مثيلات Trn1 وTrn2 وInf2، المتوفرة في مناطق AWS كمثيلات عند الطلب أو مثيلات محجوزة أو مثيلات Spot أو جزء من خطة التوفير.
للحصول على قائمة كاملة بالميزات والتحسينات الجديدة في Neuron 2.21 والبدء في استخدام Neuron، اطلع على: