الاستدلال في Amazon SageMaker AI يدعم الآن تقسيم وحدات معالجة الرسومات لنقاط النهاية في الوقت الفعلي
يدعم الاستدلال في Amazon SageMaker AI الآن تقسيم وحدات معالجة الرسومات، مما يتيح لك تشغيل عدة نماذج على وحدة معالجة رسومات واحدة بدلاً من تخصيص مسرّع كامل لكل نموذج. باستخدام تقنية NVIDIA Multi-Instance GPU (MIG)، يقسم SageMaker AI وحدة معالجة الرسومات إلى ما يصل إلى سبعة أقسام معزولة، لكل منها ذاكرته وقدرة حوسبته الخاصة. كان على العملاء الذين يقدمون نماذج صغيرة ومتوسطة الحجم، مثل المتغيرات التي تم ضبطها بدقة، ونماذج التضمين، ونماذج إعادة التصنيف، والمصنفات، أن يمنحوا كل نموذج مسرّعًا كاملاً، لذلك لم يكن بإمكان المثيل استضافة عددًا من النماذج أكثر من عدد وحدات معالجة الرسومات (GPU) لديه وكانوا يدفعون مقابل سعة وحدة معالجة الرسومات (GPU) التي لا يمكن لهذه النماذج استخدامها أبدًا.
باستخدام تقسيم GPU، يمكنك اختيار كيفية تقسيم وحدات معالجة الرسومات خلف نقطة النهاية ووضع كل نموذج على قسم يتناسب حجمه مع احتياجاته. تشترك عدة نماذج بعد ذلك في مسرّع واحد مع عزل مفروض بواسطة الأجهزة، مما يمنع النموذج الذي يشهد ضغطًا مرتفعًا من استهلاك الذاكرة أو التأثير على معدل نقل النماذج الأخرى الموجودة بجواره. كما أن تخصيص حجم المسرّع بما يتناسب مع أعباء العمل يتيح استخدام أجيال أحدث من المثيلات، والتي كانت ستوفر في السابق سعة أكبر مما يحتاج إليه نموذج واحد. يمكنك تكوين تقسيم GPU عند إنشاء نقطة نهاية تستضيف مكونات الاستدلال، مع الاستمرار في استدعاء كل نموذج بالاسم، حتى لا يتغير رمز التطبيق الخاص بك.
يتوفر تقسيم GPU على مثيلات P4d وP5 وG7 وG7e في شرق الولايات المتحدة (فرجينيا الشمالية) وشرق الولايات المتحدة (أوهايو) وغرب الولايات المتحدة (أوريجون) وآسيا والمحيط الهادئ (سنغافورة) وآسيا والمحيط الهادئ (طوكيو) وأوروبا (فرانكفورت) وأوروبا (أيرلندا). لمعرفة المزيد، تفضل بزيارة صفحة نشر Amazon SageMaker AI واطلع على دليل مطوري Amazon SageMaker AI.