قام الآلاف من العملاء بتطبيق Databricks على AWS، مما يمنحهم القدرة على استخدام MosaicML لتدريب نماذج التأسيس مُسبقًا وضبطها وتقديمها لمجموعة متنوعة من حالات الاستخدام. تمنحنا AWS Trainium الحجم والأداء العالي اللازمين لتدريب نماذج Mosaic MPT الخاصة بنا، وبتكلفة منخفضة. بينما نقوم بتدريب الجيل القادم من نماذج Mosaic MPT، سيُمكِّننا Trainium2 من بناء النماذج بشكل أسرع، مما يسمح لنا بتزويد عملائنا بنطاق وأداء غير مسبوقين حتى يتمكنوا من طرح تطبيقات الذكاء الاصطناعي في السوق بسرعة أكبر.

من خلال 16 عقدة من مثيلات Amazon EC2 Trn1 المدعومة برقائق AWS Trainium، قمنا بتطوير وإصدار stockmark-13b، وهو نموذج لغوي كبير يحتوي على 13 مليار معلمة، تم تدريبه مسبقًا من الصفر على كوربوس ياباني يتكون من 220 مليار رمز. يتضمن الكوربوس أحدث النصوص في مجال الأعمال حتى سبتمبر/أيلول 2023. حقق النموذج أعلى درجة JSQuAD ‏(0.813) في معيار JGLUE (تقييم فهم اللغة اليابانية العامة) مقارنة بالنماذج المماثلة الأخرى. إنه متوفر في Hugging Face Hub ويمكن استخدامه تجاريًا بترخيص MIT. ساعدتنا مثيلات Trn1 على تحقيق خفض بنسبة 20% في تكلفة التدريب مقارنة بمثيلات GPU المكافئة.

كان الترحيل إلى مثيلات Trn1 بسيطًا جدًا. تمكنا من إكمال تدريب النموذج ذي الـ 13 مليار معلمة في 8 أيام فقط. بناءً على هذا النجاح، نتطلع إلى تطوير وتدريب النموذج ذو 70 مليار معلمة على Trainium ونحن متحمسون لإمكانات هذه الحالات في تدريب نماذجنا بشكل أسرع وأكثر فعالية من حيث التكلفة.

في HeliXon، نبني الجيل التالي من حلول الذكاء الاصطناعي للعلاجات القائمة على البروتين. نهدف إلى تطوير أدوات الذكاء الاصطناعي التي تمكن العلماء من فك شفرة وظيفة البروتين والتفاعل، واستجواب مجموعات البيانات الجينومية واسعة النطاق لتحديد الهدف، وتصميم علاجات مثل الأجسام المضادة والعلاجات الخلوية. اليوم، نستخدم مكتبات توزيع التدريب مثل FSDP لموازنة التدريب النموذجي على العديد من الخوادم القائمة على وحدة معالجة الرسومات، ولكن هذا لا يزال يستغرق أسابيع لتدريب نموذج واحد. نحن متحمسون لاستخدام مثيلات Amazon EC2 Trn1، التي تتميز بأعلى نطاق ترددي للشبكات (800 جيجابت في الثانية) المتوفر في AWS لتحسين أداء وظائف التدريب الموزعة لدينا وتقليل أوقات تدريب النموذج، مع تقليل تكاليف التدريب لدينا أيضًا.

أطلقنا خدمة روبوت محادثة بالذكاء الاصطناعي على نطاق واسع على مثيلات Amazon EC2 Inf1 وقللنا وقت استجابة الاستدلال بنسبة 97% مقارنة بالمثيلات المستندة إلى وحدة معالجة الرسومات المماثلة مع تقليل التكاليف أيضًا. نظرًا لأننا نواصل ضبط نماذج معالجة اللغة الطبيعية (NLP) المصممة خصيصًا بشكل دوري، فإن تقليل أوقات تدريب النماذج وتكاليفها أمر مهم أيضًا. استنادًا إلى خبرتنا في الترحيل الناجح لأعباء عمل الاستدلال على مثيلات Inf1 وعملنا الأولي على مثيلات EC2 Trn1 المستندة إلى AWS Trainium، نتوقع أن توفر مثيلات Trn1 قيمة إضافية في تحسين أداء وتكلفة تعلم الآلة الشاملة.

يعد تدريب النماذج الكبيرة القائمة على المحولات ذاتية التراجع مكونًا أساسيًا في عملنا. صُمِّمت مثيلات Trn1 التي تعمل بنظام AWS Trainium خصيصًا لأحمال العمل هذه، مما يوفر قابلية تطوير لا نهائية تقريبًا، وشبكات سريعة بين العقد، ودعمًا متقدمًا لأنواع البيانات ذات 16 و8 بت. ستساعدنا مثيلات Trn1 في تدريب النماذج الكبيرة بشكل أسرع وبتكلفة أقل. نحن متحمسون بشكل خاص للدعم الأصلي للتقريب العشوائي لـ BF16 في Trainium، مما يؤدي إلى زيادة الأداء بينما لا يمكن تمييز الدقة العددية عن الدقة الكاملة.

في Cactus Labs، نسخر قوة الذكاء الاصطناعي، من خلال الأبحاث التي تركز على معالجة اللغة الطبيعية، والترتيب والتوصية، والذكاء الاصطناعي للمحادثة، ونماذج اللغات الكبيرة، ورؤية الكمبيوتر، وAR/VR و XAI. تماشياً مع سعينا لتمكين التدريب السريع لنماذج تعلّم الآلة بالإضافة إلى تمكين باحثينا من إجراء المزيد من التجارب أثناء إدارة تكلفة البنية التحتية، كان من دواعي سرورنا تقييم AWS Trainium. تعد ميزات AWS Trainium المبتكرة مثل تحسين XLA والتدريب المتوازي للبيانات متعددة العمال والتخزين المؤقت للرسم البياني مفيدة حقًا لنا لتقليل أوقات التدريب لدينا ومساعدتنا على إجراء المزيد من التجارب بشكل أسرع وأرخص.

نحن نستخدم نماذج اللغة الكبيرة لدمج الفكاهة وتقديم تجربة أكثر ملاءمة ومحادثة لعملائنا على خدمات الذكاء الاصطناعي. هذا يتطلب منا تدريب هذه النماذج مسبقًا وضبطها بشكل متكرر. قمنا بتدريب نموذج ياباني قائم على GPT مسبقًا على مثيل EC2 Trn1.32xlarge، مع الاستفادة من tensor وتوازي البيانات. تم الانتهاء من التدريب في غضون 28 يومًا بتخفيض التكلفة بنسبة 33% مقارنة بالبنية التحتية السابقة القائمة على وحدة معالجة الرسوميات (GPU). مع استمرار نمو نماذجنا بسرعة من حيث التعقيد، فإننا نتطلع إلى مثيلات Trn1n التي لديها ضِعف عرض النطاق الترددي للشبكة لـ Trn1 لتسريع تدريب النماذج الأكبر حجمًا.

في PyTorch، نقوم بتسريع عملية تعلّم الآلة من النماذج الأولية البحثية إلى الإنتاج الجاهز للعملاء. لقد تعاوننا على نطاق واسع مع فريق AWS لتوفير دعم PyTorch الأصلي لمثيلات Amazon EC2 Trn1 الجديدة التي تعمل بنظام AWS Trainium والتي تم تصميمها خصيصًا لتدريب نماذج التعلم العميق. يمكن للمطورين الذين يقومون ببناء نماذج PyTorch بدء التدريب على مثيلات Trn1 مع الحد الأدنى من التغييرات في الأكواد. بالإضافة إلى ذلك، عملنا مع مجتمع OpenXLA لتمكين مكتبات PyTorch الموزعة لترحيل النماذج بسهولة من المثيلات المستندة إلى GPU إلى مثيلات Trn1. نحن متحمسون للابتكار الذي تجلبه مثيلات Trn1 إلى مجتمع PyTorch، بما في ذلك أنواع البيانات الأكثر كفاءة والأشكال الديناميكية والمشغلين المخصصين والتقريب العشوائي المحسن للأجهزة ووضع التصحيح المتحمس. كل هذا يجعل Trn1 مناسبًا تمامًا للتبني الواسع من قبل مطوري PyTorch ونتطلع إلى المساهمات المشتركة المستقبلية في PyTorch لزيادة تحسين أداء التدريب.

تتمثل مهمة Hugging Face في إضفاء الطابع الديمقراطي على تعلم الآلة (ML) الجيد لمساعدة مطوري تعلم الآلة (ML) حول العالم على حل مشكلات العالم الحقيقي. والمفتاح في ذلك هو ضمان تشغيل أحدث وأروع الموديلات بأسرع ما يمكن وبكفاءة على أفضل شرائح تعلم الآلة (ML) في السحابة. نحن متحمسون للغاية بشأن إمكانية أن تصبح Inferentia2 الطريقة القياسية الجديدة لنشر نماذج الذكاء الاصطناعي المولّد على نطاق واسع. مع Inf1، رأينا تكلفة أقل بنسبة تصل إلى 70% مقارنة بالمثيلات التقليدية المستندة إلى وحدة معالجة الرسومات (GPU)، ومع Inf2 شهدنا زمن انتقال أقل بما يصل إلى 8 أضعاف للمحولات الشبيهة بـ BERT مقارنة بـ Inferentia1. مع Inferentia2، سيكون مجتمعنا قادرًا على توسيع نطاق هذا الأداء بسهولة ليشمل نماذج اللغة الكبيرة (LLMs) على مقياس معايير 100B+، وإلى أحدث نماذج الانتشار ورؤية الكمبيوتر أيضًا.

نحن ندرب نماذج اللغة الكبيرة (LLM) متعددة الوسائط (نص + صورة) ومتعددة اللغات ومتعددة اللهجات ومدربة مسبقًا على مهام متعددة وتمتد عبر كيانات متعددة (المنتجات والاستعلامات والعلامات التجارية والمراجعات وما إلى ذلك) لتحسين تجربة تسوق العملاء. توفر مثيلات Trn1 طريقة أكثر استدامة لتدريب نماذج اللغة الكبيرة (LLM) من خلال تقديم أفضل أداء/واط مقارنة بحلول تعلم الآلة المتسارعة الأخرى وتقدم لنا أداءً عاليًا بأقل تكلفة. نحن نخطط لاستكشاف نوع بيانات FP8 الجديد القابل للتكوين، والتقريب العشوائي المتسارع للأجهزة لزيادة كفاءة التدريب وسرعة التطوير لدينا.