Amazon SageMaker HyperPod يعزز دعم الخاص بـ Ray
يعمل Amazon SageMaker HyperPod الآن على تحسين دعم Ray من خلال إمكانية الملاحظة المدمجة والتدريب المرن والاستدلال السريع وبيئات التطوير المُدارة. Ray هو إطار عمل شائع مفتوح المصدر لتوسيع نطاق أعباء عمل الذكاء الاصطناعي على طبقة حوسبة موحدة، بدءًا من معالجة البيانات والتدريب الموزع وحتى التعلم المعزز وخدمة النماذج. يمكن أن يكون تشغيل Ray على Kubernetes على نطاق الإنتاج عبئًا تشغيليًا: توقف العمل، وانخفاض استخدام وحدة معالجة الرسومات من تخصيصات الفريق الثابتة، وإعداد إمكانية الملاحظة متعددة الخطوات. كما أنَّ الافتقار إلى بيئة تطوير تفاعلية يعني أنَّ كل تغيير برمجي يحتاج إلى تقديم وظيفة أخرى والإلمام بـ kubectl.
يوفر HyperPod الآن تطويرًا أسهل وتدريبًا مرنًا واستدلالًا سريعًا لـ Ray. يقوم علماء البيانات بإنشاء كتل Ray وتعديلها ومراقبتها وحذفها من واجهة قائمة على الويب في استوديو Amazon SageMaker، ثم يقومون بإرفاق JupyterLab أو محرر التعليمات البرمجية أو IDE المحلي بكتلة Ray قيد التشغيل والتكرار بشكل تفاعلي مقابل الحوسبة على نطاق الكتلة. تعمل كتلة Ray متعددة العقد مثل بيئة تطوير محلية، لذلك يمكنك اختبار كل تغيير على الفور، دون انتظار وضع مهمة جديدة في قائمة الانتظار والبدء في تنفيذها. بالنسبة لقابلية الملاحظة، يوفر HyperPod لوحات معلومات Grafana بمقاييس في خدمة Amazon المُدارة لـ Prometheus ويسمح بالوصول بنقرة واحدة إلى لوحة معلومات Ray من خلال رابط متصفح آمن، مما يمنحك رؤية لأعباء العمل الخاصة بك منذ التشغيل الأول. للتدريب على نطاق واسع، يعالج الاسترداد التلقائي لعقدة HyperPod واكتشاف المهام المعلقة أخطاء وحدة معالجة الرسومات، وتوقف المهام، وارتفاع الخسائر، ومعدل النقل المتدهور. تعمل نقاط التحقق المتدرجة على استعادة الحالة من ذاكرة الكتلة لزيادة الإنتاجية إلى أقصى حد، كما تعمل حوكمة المهام على تحسين استخدام الحوسبة من خلال الحصص والأولويات والإجراءات الوقائية. تعمل هذه العوامل معًا على الحفاظ على تقدم دورات التدريب الطويلة الخاصة بك من خلال حالات الفشل وتعظيم العمل المفيد المنجز لكل ساعة من وحدات معالجة الرسومات. للاستدلال باستخدام Ray Serve، تقوم ذاكرة التخزين المؤقت KV المتدرجة بإعادة استخدام البادئات المخزنة مؤقتًا لتقليل الوقت اللازم للوصول إلى الرمز المميز الأول، ويمكنك نشر نماذج Amazon SageMaker JumpStart مباشرةً.
تعمل تعليمات Ray البرمجية مفتوحة المصدر دون تغيير ويمكنك إما اعتماد التجربة المصممة لهذا الغرض في استديو SageMaker أو الاستفادة من القدرات الفردية للاندماج في منصة ML الخاصة بك.
يتوفر دعم Ray لكتل HyperPod التي تنظمها Amazon EKS، في مناطق AWS حيث يتم دعم SageMaker HyperPod. لمعرفة المزيد، اطّلع على وثائق SageMaker HyperPod، واستكشف العرض التوضيحي التفاعلي.