يقدم Amazon SageMaker إمكانيات جديدة لتسريع توسيع نطاق استدلال الذكاء الاصطناعي المولّد
يسعدنا أن نعلن عن إمكانيتين جديدتين في SageMaker Inference تعززان بشكل كبير نشر نماذج الذكاء الاصطناعي المولّد وتوسيع نطاقها: التخزين المؤقت للحاويات وأداة تحميل النماذج السريعة. وتعالج هذه الابتكارات التحديات الحرجة في توسيع نطاق نماذج اللغات الكبيرة (LLM) بكفاءة، مما يتيح أوقات استجابة أسرع لارتفاع حركة البيانات وتوسيع النطاق الأكثر فعالية من حيث التكلفة. من خلال تقليل أوقات تحميل النماذج وتسريع توسيع النطاق التلقائي، تتيح هذه الميزات للعملاء تحسين مدى استجابة تطبيقات الذكاء الاصطناعي المولّد الخاصة بهم بينما تتقلب الطلب، ولا سيما الاستفادة من الخدمات ذات أنماط حركة البيانات الديناميكية.
يقلل «التخزين المؤقت للحاويات» بشكل كبير من الوقت المطلوب لتوسيع نطاق نماذج الذكاء الاصطناعي المولّد للاستدلال عن طريق التخزين المؤقت لصور الحاوية مسبقًا. وهذا الأمر يلغي الحاجة إلى تنزيلها عند توسيع النطاق بشكل أكبر، مما يؤدي إلى تقليل كبير في وقت توسيع النطاق لنقاط نهاية نموذج الذكاء الاصطناعي المولّد. تقوم «أداة تحميل النماذج السريعة» ببث أوزان النماذج مباشرةً من Amazon S3 إلى أداة التسريع، مما يؤدي إلى تحميل النماذج بشكل أسرع بكثير مقارنة بالطرق التقليدية. وتسمح هذه الإمكانيات للعملاء بإنشاء سياسات توسيع نطاق تلقائي أكثر استجابة، مما يتيح لـ SageMaker إضافة مثيلات جديدة أو نسخ للنماذج بسرعة عند الوصول إلى الحدود المحددة، وبالتالي الحفاظ على الأداء الأمثل أثناء ارتفاع حركة البيانات في أثناء إدارة التكاليف بفعالية في نفس الوقت.
يمكن الوصول إلى هذه الإمكانيات الجديدة في جميع مناطق AWS حيث يتوفر Amazon SageMaker Inference. لمعرفة المزيد، اطّلع على الوثائق لدينا للحصول على إرشادات التنفيذ التفصيلية.