تدعم Amazon SageMaker AI الآن فك التشفير الذي يمكن تخمينه لـ EAGLE
يدعم Amazon SageMaker AI الآن فك التشفير الذي يمكن تخمينه لـ EAGLE (خوارزمية الاستيفاء لزيادة كفاءة نموذج اللغة) لتحسين معدل نقل استدلال نموذج اللغة الكبير بنسبة تصل إلى 2.5 ضعف. تمكّن هذه الإمكانية النماذج من التنبؤ بالرموز المتعددة والتحقق من صحتها في وقت واحد بدلاً من واحدة تلو الأخرى، مما يحسن أوقات الاستجابة لتطبيقات الذكاء الاصطناعي.
نظرًا لأن العملاء ينشرون تطبيقات الذكاء الاصطناعي في الإنتاج، فإنهم يحتاجون إلى إمكانات لخدمة النماذج ذات زمن الاستجابة المنخفض ومعدل النقل العالي لتقديم تجارب مستخدم سريعة الاستجابة. يفتقر علماء البيانات ومهندسو تعلّم الآلة إلى الأساليب الفعالة لتسريع توليد الرموز دون التضحية بجودة المخرجات أو الحاجة إلى إعادة هندسة النماذج المعقدة، مما يجعل من الصعب تلبية توقعات الأداء في ظل حركة المرور في العالم الحقيقي. تقضي الفرق وقتًا طويلاً في تحسين البنية التحتية بدلاً من تحسين تطبيقات الذكاء الاصطناعي الخاصة بها. من خلال فك التشفير الذي يمكن تخمينه لـ EAGLE، تمكّن SageMaker AI العملاء من تسريع معدل نقل الاستدلال من خلال السماح للنماذج بإنشاء رموز متعددة والتحقق منها بالتوازي بدلاً من رمز واحد في كل مرة، مع الحفاظ على نفس جودة الإخراج أثناء زيادة معدل النقل بشكل كبير. تختار SageMaker AI تلقائيًا بين EAGLE 2 وEAGLE 3 استنادًا إلى بنية النموذج الخاص بك، وتوفر وظائف تحسين مضمّنة تستخدم إما مجموعات بيانات منظمة أو بيانات التطبيق الخاصة بك لتدريب رؤساء التنبؤ المتخصصين. يمكنك بعد ذلك نشر نماذج محسّنة من خلال سير عمل استدلال SageMaker AI الحالي دون تغييرات في البنية التحتية، مما يمكّنك من تقديم تطبيقات ذكاء اصطناعي أسرع بأداء يمكن التنبؤ به.
يمكنك استخدام فك التشفير الذي يمكن تخمينه لـ EAGLE في مناطق AWS التالية: شرق الولايات المتحدة (فرجينيا الشمالية) وغرب الولايات المتحدة (أوريجون) وشرق الولايات المتحدة (أوهايو) وآسيا والمحيط الهادئ (طوكيو) وأوروبا (أيرلندا) وآسيا والمحيط الهادئ (سنغافورة) وأوروبا (فرانكفورت)
لمعرفة المزيد عن فك تشفير EAGLE الذي يمكن تخمينه، تفضل بزيارة مدونة أخبار AWS هنا ووثائق SageMaker AI هنا.