يدعم Amazon SageMaker HyperPod الآن مثيلات G7e وr5d.16xlarge
يدعم Amazon SageMaker HyperPod الآن مثيلات G7e وr5d.16xlarge. SageMaker HyperPod عبارة عن بنية تحتية مصممة خصيصًا لتطوير النماذج الأساسية وتدريبها ونشرها على نطاق واسع. يوفر بيئة مرنة وعالية الأداء مع تحمّل أعطال مدمج، واستعادة تلقائية للمجموعات، ومكتبات مُحسّنة للتدريب الموزع، مما يقلل العبء التشغيلي غير المميز في إدارة بنية تحتية واسعة النطاق للذكاء الاصطناعي/التعلّم الآلة.
تعمل مثيلات G7e بواسطة وحدات معالجة الرسومات إصدار NVIDIA RTX PRO 6000 Blackwell Server، وتوفر أداء استدلال أفضل يصل إلى 2,3 مرة مقارنةً بمثيلات G6e، مما يتيح معالجة عدد أكبر من الطلبات في الثانية مع تقليل زمن الاستجابة. بفضل ما يصل إلى 768 جيجابايت من إجمالي ذاكرة GPU، تتيح لك مثيلات G7e نشر نماذج لغات أكبر أو تشغيل نماذج متعددة على نقطة نهاية واحدة. يمكنك استخدام هذه المثيلات لنشر نماذج اللغة الكبيرة (LLMs) والذكاء الاصطناعي المستقل والمولّد والذكاء الاصطناعي متعدد الوسائط ونماذج الذكاء الاصطناعي الفعلية. تعد مثيلات G7e مناسبة أيضًا للضبط الدقيق أحادي العقدة الفعال من حيث التكلفة أو التدريب على البرمجة اللغوية العصبية ورؤية الكمبيوتر ونماذج الذكاء الاصطناعي المولّد الأصغر، مع ما يصل إلى 1,27 ضعف TFLOPs وما يصل إلى 4 أضعاف عرض النطاق الترددي لوحدة معالجة الرسومات إلى وحدة معالجة الرسومات مقارنةً بـ G6e. بالإضافة إلى ذلك، يدعم HyperPod الآن r5d.16xlarge أيضًا. يوفر المثيل r5d.16xlarge 64 وحدة معالجة مركزية (CPU) وذاكرة 512 جيجابايت ووحدة تخزين مثيل NVMe SSD بسعة 5 × 600 جيجابايت، مدعومة بمعالجات سلسلة Intel Xeon Platinum 8000 بتردد توربو مستدام لجميع النوات يصل إلى 3,1 جيجاهرتز. هذا المثيل مناسب تمامًا للمعالجة المسبقة لبيانات التدريب الموزعة خاصة مع أُطر مثل Ray وهندسة الميزات واسعة النطاق وتشغيل خدمات التكوين والتنسيق والإدارة المؤتمتة ذات الذاكرة الثقيلة جنبًا إلى جنب مع حساب GPU.
تتوفر مثيلات G7e في مناطق شرق الولايات المتحدة (فرجينيا الشمالية) وشرق الولايات المتحدة (أوهايو) وآسيا والمحيط الهادئ (طوكيو) وغرب الولايات المتحدة (أوريجون) كما أن r5d.16xlarge متوفرة في جميع المناطق التي تتوفر فيها خدمة Amazon SageMaker HyperPod.