يدعم استدلال Amazon SageMaker AI الآن مثيلات G7
يدعم استدلال Amazon SageMaker AI الآن مثيلات G7 المدعومة بوحدات معالجة الرسومات NVIDIA RTX PRO 4500 Blackwell Server Edition، مما يمكّنك من نشر نماذج تعلّم الآلة مع أداء استدلال بالذكاء الاصطناعي يصل إلى 4.6 ضعف مقارنة بمثيلات G6 من الجيل السابق. يحتاج العملاء الذين ينشرون نماذج الذكاء الاصطناعي المولّد للاستدلال الإنتاجي إلى معدل نقل عالي لوحدة معالجة الرسومات وسعة ذاكرة لخدمة النماذج المتوسطة إلى الكبيرة بتكلفة فعالة، ولكن مثيلات الجيل السابق غالبًا ما تتطلب التخصيص الزائد لموارد نماذج الحوسبة أو القياس الكمي المكلفة لتلائم قيود الذاكرة.
توفر مثيلات G7 32 جبجابايت من ذاكرة GPU لكل وحدة معالجة رسومات مع الجيل الخامس من Tensor Cores، وما يصل إلى 700 جيجابت في الثانية من الشبكات التي تدعم EFA (7 مرات مقارنة بـ G6)، وما يصل إلى 7.6 تيرابايت من سعة تخزين NVMe SSD المحلية لإبقاء النماذج الكبيرة قريبة من الحوسبة. تجعل هذه الإمكانات مثيلات G7 مناسبة تمامًا لخدمة النماذج في نطاق المعلمات 7B–30B وأعباء عمل إنشاء الصور والفيديو ونقاط النهاية للاستدلال متعدد النماذج التي تستفيد من عرض النطاق العالي للذاكرة ومعدل النقل. يمكنك نشر النماذج على مثيلات G7 باستخدام وحدة تحكم SageMaker AI Inference أو API أو SDK من خلال تحديد أنواع مثيلات G7 (مثل ml.g7.xlarge وحتى ml.g7.48xlarge) في تكوين نقطة النهاية لديك.
تتوفر مثيلات G7 لاستدلال SageMaker AI في شرق الولايات المتحدة (فيرجينيا الشمالية، أوهايو) وغرب الولايات المتحدة (أوريجون). للحصول على معلومات التسعير الخاصة بهذه المثيلات، المرجو زيارة صفحة التسعير الخاصة بنا.