Amazon SageMaker AI تدعم الآن الاستدلال الذي يراعي اعتبارات السعة من خلال "التبديل التلقائي إلى المثيل البديل"
تدعم الآن نقاط النهاية للاستدلال في Amazon SageMaker AI التوفير المرن بناء على قائمة تضم أولويات أنواع المثيلات. عندما يكون نوع المثيل المفضل لديه سعة غير كافية، تقوم SageMaker AI تلقائيًا بتوفير الخيار التالي المتاح في قائمتك، مع الحفاظ على تشغيل إنشاء نقطة النهاية والتحديد التلقائي للنطاق بسلاسة دون الحاجة لتدخل يدوي. يمنح ذلك فرق العمل التي تنشر نماذج الذكاء الاصطناعي/تعلّم الآلة في مراحل الإنتاج المرونة اللازمة للتعامل مع القيود المفروضة السعة بأمان، مما يضمن ظهور نقاط النهاية بشكل موثوق به وتحديد النطاق بناء على الطلب.
من خلال دعم تجميع المثيلات، يمكنك اختيار قائمة تحدد أولويات أنواع المثيل وتقوم SageMaker AI تلقائيًا بتوفير السعة عن طريق العمل وفقًا لترتيب الأنواع في قائمتك. ينطبق هذا الأمر على إنشاء نقاط النهاية والتحديثات وتحديد النطاق. عند تقليل نطاق العمل، تبدأ SageMaker AI في إزالة المثيلات الأقل من حيث الأولوية، مع الحفاظ على بنيتك التحتية المفضلة كعقود للأسطول. ينطبق هذا على نقاط النهاية ذات النموذج الواحد، ونقاط النهاية القائمة على مكون الاستدلال InferenceComponent، ونقاط النهاية ذات الاستدلال غير المتزامن، بما في ذلك نقاط النهاية التي يتم تقليصها إلى الصفر، حيث تقوم SageMaker AI بتوفير الموارد من المجمع المتاح ذي الأولوية الأعلى عند إعادة التوسع.
نظرًا لاختلاف أنواع المثيلات الاحتياطية من حيث ذاكرة وحدة معالجة الرسومات (GPU) وقدرات الحوسبة، يمكنك تحديد نموذج مُحسَّن مختلف لكل نوع من أنواع المثيلات في قائمة الأولويات التي تحددها. يمكنك إعداد هذه المكونات بنفسك أو الاستعانة بتوصيات الاستدلال المقدمة من SageMaker AI، والتي تقوم تلقائيًا بإنشاء تكوينات مُحسّنة خاصة بالأجهزة وفقًا لنوع كل مثيل. بالإضافة إلى ذلك، تتيح لك مقاييس CloudWatch الخاصة بكل نوع من أنواع المثيلات معرفة زمن الاستجابة ومعدل النقل ومعدل استخدام وحدة معالجة الرسومات (GPU) وعدد المثيلات حسب نوع الأجهزة ضمن نقطة نهاية واحدة.
تتوفر هذه الإمكانية اليوم في شرق الولايات المتحدة (فرجينيا الشمالية) وشرق الولايات المتحدة (أوهايو) وغرب الولايات المتحدة (أوريجون) وكندا (الوسطى) وأمريكا الجنوبية (ساو باولو) وأوروبا (أيرلندا) وأوروبا (لندن) وأوروبا (فرانكفورت) وأوروبا (ستوكهولم) وأوروبا (زيوريخ) وآسيا والمحيط الهادئ (طوكيو) وآسيا والمحيط الهادئ (سول) وآسيا والمحيط الهادئ (سنغافورة) وآسيا والمحيط الهادئ (سيدني) وآسيا والمحيط الهادئ (مومباي) وآسيا والمحيط الهادئ (جاكرتا). لمعرفة مزيد من المعلومات، ارجع إلى وثائق Amazon SageMaker AI.