تخفّض منصة Amazon SageMaker AI وقت التوسيع بزيادة المثيلات لاستدلال الذكاء الاصطناعي المولّد بنسبة تصل إلى النصف، وذلك بفضل ميزة التخزين المؤقت التلقائي لصور الحاويات
يدعم الآن نظام الاستدلال في منصة Amazon SageMaker ميزة التخزين المؤقت لصور الحاويات، مما يتيح توسيعًا كاملًا وممتدًا لنماذج الذكاء الاصطناعي المولّد بسرعة تصل إلى الضعف أثناء أحداث التوسيع بزيادة المثيلات. عندما يتوسع نموذجك بزيادة المثيلات، تقوم الخدمة بالتخزين المؤقت المسبق لصورة الحاوية الخاصة بك، بحيث يمكن للمثيلات الجديدة البدء في تلبية حركة البيانات بشكل أسرع، دون الانتظار لسحب صور الحاويات الكبيرة من سجل الحاويات المرن لـ Amazon.
تستخدم أعباء عمل الذكاء الاصطناعي المولّد عادةً صور حاويات ضخمة الحجم (تصل إلى 10 جيجابايت أو أكثر) لاستيعاب أطر عمل التعلم العميق والبرمجيات المخصصة لتشغيل ونشر النماذج. في السابق، كان على كل مثيلة جديدة يتم إطلاقها أثناء التوسيع بزيادة المثيلات أن تسحب صورة الحاوية بالكامل من سجل ECR، مما كان يضيف عدة دقائق من زمن الانتقال المرتبط بالبدء البارد. تزيل ميزة التخزين المؤقت لصور الحاويات هذا نقطة التباطؤ الحرجة عبر السحب المسبق للصورة، مما يتيح إطلاق المثيلات الجديدة مع توفر الحاوية محليًا بالفعل. لا يحتاج العملاء إلى إجراء أي تغييرات. تقوم الخدمة تلقائيًا بالتخزين المؤقت لأي معرف موحد للصورة يتم تحديده في تكوين نقطة النهاية أو تكوين مكون الاستدلال. تدعم هذه الميزة فئات المثيلات المسرّعة، ونقاط النهاية ذات النموذج الواحد، ونقاط النهاية القائمة على مكونات الاستدلال.
مع هذا الإطلاق، يقدم نظام الاستدلال في SageMaker الآن حزمة تحسينات شاملة للتوسع مخصصة للذكاء الاصطناعي المولّد: تشمل مقاييس للتزامن تستغرق أقل من دقيقة لرصد ضغط الأعباء بسرعة أكبر تصل إلى 6 أضعاف، وميزة التخزين المؤقت للحاويات في مخزن المثيلة لتسريع التوسع على المثيلات الحالية، والتخزين المؤقت لصور الحاويات، مع تسريع التوسع على المثيلات الجديدة بنسبة تصل إلى الضعف.
تتوفر ميزة التخزين المؤقت لصور الحاويات في جميع مناطق AWS التجارية التي يدعم فيها نظام الاستدلال في SageMaker. لمعرفة المزيد، تفضل بزيارة مدونة الإطلاق.