AWS Neuron

AWS Neuron هي مجموعة المطورين لإدارة التعلم العميق وأعباء عمل الذكاء الاصطناعي التوليدية على AWS Trainium و AWS Inferentia. تُمكّن Neuron، المبنية على أساس مفتوح المصدر، المطورين من البناء والنشر والاستكشاف محليًا باستخدام أطر PyTorch و JAX ومع مكتبات ML مثل HuggingFace و vLLM و PyTorch Lightning وغيرها دون تعديل التعليمات البرمجية الخاصة بك.  يتضمن المترجم ووقت التشغيل ومكتبات التدريب والاستدلال وأدوات المطور للمراقبة والتنميط وتصحيح الأخطاء. تدعم Neuron دورة حياة تطوير التعلم الآلي من البداية إلى النهاية (ML) بدءًا من إنشاء نماذج التعلم العميق والذكاء الاصطناعي ونشرها، والتحسين لتحقيق أعلى أداء وأقل تكلفة، والحصول على رؤى أعمق لسلوك النموذج. 

تتيح Neuron التجريب السريع، والتدريب على نطاق الإنتاج للنماذج الحدودية، وتحسين الأداء منخفض المستوى من خلال واجهة Neuron Kernel (NKI) للنواة المخصصة، ونشر الاستدلال الأمثل من حيث التكلفة للذكاء الاصطناعي الفعال وأعباء عمل التعلم المعزز، والتنميط الشامل وتصحيح الأخطاء باستخدام Neuron Explorer. 

تتيح Neuron البحث السريع في مجال الذكاء الاصطناعي عن طريق تشغيل كود PyTorch الأصلي دون تغيير على Trainium. يمكن للباحثين تجربة أفكار جديدة وتكرارها بسرعة مع دعم وضع PyTorch Eager. يعد التوسع أمرًا سهلاً باستخدام مكتبات PyTorch الموزعة مثل FSDP و DDP و dTensor لمشاركة النماذج عبر الرقائق أو التوسع إلى عقد متعددة. تدعم نيورون torch.compile، والمكتبات مثل TorchTitan و HuggingFace Transformers تعمل الآن مباشرة على تراينيوم دون تعديل. أيضًا، يمكن لمطوري JAX استخدام Neuron لتطوير نماذجهم وتحسينها ونشرها بسهولة في Inferentia و Trainium.   

تعمل Neuron على تحسين اقتصاديات الاستدلال للذكاء الاصطناعي الفعال وأعباء عمل التعلم المعزز. تعمل واجهات برمجة تطبيقات vLLM V1 القياسية على Trainium و Inferentia بأداء عالٍ خارج الصندوق مع ميزات مثل التوازي مع الخبراء والاستدلال المفصل وفك التشفير التأملي والنواة المحسّنة من مكتبة Neuron Kernel لتعظيم اقتصاديات الرموز على نطاق واسع.  يمكن لمطوري التعلم الآلي التدريب باستخدام HuggingFace Optimum Neuron و PyTorch Lightning و TorchTitan، ثم نشر الاستدلال باستخدام واجهات برمجة تطبيقات VLLM القياسية. 

يتطلب بناء نماذج الذكاء الاصطناعي كلاً من الابتكار السريع وتحسين الأداء. في حين أن الأطر القياسية مثل PyTorch تجعل من السهل توسيع نطاق التجارب، فإن تجاوز حدود الأداء يتطلب تحسين المجموعة الكاملة (الشريحة والخادم وUltraServer). توفر Neuron لمهندسي أداء التعلم الآلي وصولاً لا مثيل له إلى رقائق AWS AI الخاصة بنا، من خلال واجهة Neuron Kernel (NKI)، والرؤى الأعمق من خلال Neuron Explorer، ومكتبة النواة المحسّنة الخاصة بنا والتي تسمى مكتبة Neuron Kernel (NKiLib). يوفر NKI واجهات برمجة التطبيقات لتخصيص الذاكرة وجدولة التنفيذ والوصول المباشر إلى Trainium ISA مما يتيح التحكم في البرمجة على مستوى التعليمات. NKI Compiler مفتوح المصدر ومبني على MLIR ويوفر رؤية للمطورين في خط أنابيب المترجم الكامل. توفر مكتبة Neuron Kernel مفتوحة المصدر تطبيقات محسّنة مع شفرة المصدر والوثائق والمعايير. يوفر Neuron Explorer مجموعة موحدة من الأدوات التي توجه المطورين خلال رحلة تحسين الأداء وتصحيح الأخطاء. يمكن لمهندسي الأداء تتبع التنفيذ بدءًا من شفرة المصدر وصولاً إلى عمليات الأجهزة، ووضع ملف تعريف أحادي العقدة والتطبيقات الموزعة، وتلقي رؤى مدعومة بالذكاء الاصطناعي وتوصيات قابلة للتنفيذ لتحسين kernel وتحسينات الأداء.

يزدهر ابتكار الذكاء الاصطناعي في المجتمعات المفتوحة حيث يمكن للمطورين الفحص والتعديل والمساهمة. تلتزم Neuron بمجتمع المصادر المفتوحة وتعزيز الابتكار. بينما نقوم بنقل المزيد من أجزاء مجموعتنا إلى المصدر المفتوح، فإن برنامج NKI Compiler و Neuron Kernel Driver ومكتبة Neuron Kernel و NxD Inference و Neuron Explorer و PyTorch و JAX و vLLM متاحة اليوم مفتوحة المصدر بالكامل. تتيح المكتبات والأدوات مفتوحة المصدر للمطورين فحص تطبيقات برنامج التحويل البرمجي والمساهمة في التحسينات وتكييف كود kernel دون أي حواجز. تعالَ وشاركنا في الإنشاء.