تقدم AWS Neuron دعمًا للتدريب لواجهة نواة Neuron (NKI)، وNxD Training، وJAX
تعلن AWS اليوم عن طرح Neuron 2.20، فتقدم واجهة Neuron Kernel (NKI) (نسخة تجريبية)، وهي واجهة برمجة لـ AWS Trainium وInferentia، وذلك يتيح للمطورين إمكانيات بناء أنوية حوسبية محسّنة للوظائف والتحسينات والابتكارات العلمية الجديدة. بالإضافة إلى ذلك، يقدم هذا الطرح NxD Training (إصدار تجريبي)، وهي مكتبة قائمة على PyTorch تتيح التدريب الموزَّع الفعال، إلى جانب واجهة سهلة الاستخدام متوافقة مع NeMo. يقدم هذا الطرح أيضًا دعمًا لإطار عمل JAX (تجريبي).
AWS Neuron هي SDK للمثيلات المستندة إلى AWS Inferentia وTrainium المصممة خصيصًا للذكاء الاصطناعي المولّد. يتكامل Neuron مع إطارات عمل ML الشائعة مثل PyTorch. وهو يتضمن مترجمًا ووقت تشغيل وأدوات ومكتبات لدعم التدريب عالي الأداء واستدلال نماذج الذكاء الاصطناعي في مثيلات Trn1 وInf2.
يضيف هذا الإصدار أيضًا ميزات دعم وتحسينات في الأداء لتدريب النموذج والاستدلال. فيما يتعلق بالتدريب، يضيف هذا الإصدار نماذج Llama 3.1 8B و70B بدعم لطول تسلسل يصل إلى 32 ألف، بالإضافة إلى torch.autocast() لدعم الدقة المختلطة المخصصة لـ PyTorch وتقنيات PEFT LoRA. فيما يتعلق بالاستدلال، يضيف Neuron 2.20 دعمًا لنماذج Llama 3.1 (405b، و70b، و8b) ونماذج تجمع بين نماذج الانتشار والمحوِّلات (DiT) مثل Pixart-alpha وPixart-sigma. بالإضافة إلى ذلك، يضيف هذا الإصدار دعمًا للاستدلال مع أخذ العينات بمعامل top-p على جهاز وطول سياق يبلغ 128 ألف باستخدام أسلوب Flash Decoding. يضيف هذا الإصدار أيضًا دعمًا لنظام التشغيل Rocky 9.0 ومشغلي RMSNorm وRMSNormDx في المُحول البرمجي Neuron.
لمزيد من المعلومات، راجع ملاحظات إصدار Neuron.