Amazon SageMaker HyperPod تدعم الآن فصل الملء المسبق وفك التشفير
تدعم Amazon SageMaker HyperPod الآن فصل الملء المسبق وفك التشفير (DPD)، وهو تحسين للاستدلال يقوم بفصل مرحلتي استدلال نماذج اللغة الكبيرة (LLM) وهما الملء المسبق وفك التشفير إلى مجموعات GPU المخصصة وينقل ذاكرة التخزين المؤقت ذات القيمة الرئيسية (KV) بينها عبر Elastic Fabric Adapter (EFA) باستخدام تقنية RDMA المباشرة لـ GPU. يحتاج العملاء الذين يقومون بتشغيل نماذج LLM في بيئة الإنتاج لمساعدي الدردشة ومسارات الوكلاء والتوليد المعزز بالاسترجاع وتحليل المستندات الطويلة إلى زمن استجابة ثابت لكل رمز ومعدل نقل يمكن التنبؤ به في ظل حركة مرور مختلطة، ولكن عندما تتشارك مرحلة الملء المسبق وفك التشفير في نفس وحدة معالجة الرسومات، يمكن لطلب واحد طويل السياق أن يوقف إنشاء الرمز المميز لجميع الطلبات المتزامنة ويجبر العملاء على الإفراط في التخصيص لإحدى المرحلتين لحماية الأخرى.
باستخدام DPD، يقوم العملاء بتشغيل الملء المسبق المرتبط بنطاق الحوسبة على مجموعة واحدة من وحدات معالجة الرسومات وفك التشفير المرتبط بعرض نطاق الذاكرة على مجموعة أخرى، لذلك لم تعد المرحلتان تتنافسان على نفس الموارد. وهذا يوفر زمن استجابة أكثر اتساقًا لكل رمز في ظل التزامن المستمر، وجودة أعلى عند الالتزام بأهداف مستوى الخدمة (SLO) الصارمة لزمن الاستجابة، والقدرة على توسيع نطاق الملء المسبق وفك التشفير بشكل مستقل لتتناسب مع توزيع المدخلات والمخرجات لعبء العمل. يقوم جهاز توجيه ذكي تلقائيًا بتوجيه الطلبات ذات السياق الطويل من خلال المسار المنفصل وإرسال أوامر أقصر مباشرةً إلى وحدة فك التشفير، حتى يستفيد العملاء من حركة المرور التي تحتاجها دون دفع تكاليف التحويل على الأوامر القصيرة. يقوم العملاء بتمكين DPD عن طريق إضافة قسم «pdSpec» إلى نفس المورد المخصص «InferenceEndpointConfig» الذي يستخدمونه بالفعل لنقاط نهاية الاستدلال على مشغل HyperPod للاستدلال، وتكون ميزة DPD قابلة للتكوين مع ميزتي تفريغ ذاكرة التخزين المؤقت ذات القيمة الرئيسية والتوجيه الذكي المتوفرتين في HyperPod.
تتوفر DPD لمجموعات SageMaker HyperPod التي تستخدم القائم على التكوين والتنسيق والإدارة المؤتمتة الخاص بـ EKS على أنواع المثيلات المتوافقة مع EFA في جميع مناطق AWS حيث تتوفر Amazon SageMaker HyperPod. لمعرفة المزيد، راجع فصل الملء المسبق وفك الشفرة لاستدلال HyperPod في دليل مطوري Amazon SageMaker AI.