ما المقصود بضبط المعلمات الفائقة؟
عند تدريب نماذج تعلّم الآلة، تحتاج كل مجموعة بيانات وكل نموذج إلى مجموعة مختلفة من المعلمات الفائقة، التي تعد نوعًا من المتغيرات. الطريقة الوحيدة لتحديد مجموعات المعلمات الفائقة هي من خلال تجارب متعددة، حيث تختار مجموعة من المعلمات الفائقة وتشغلّها من خلال نموذجك. وتسمى هذه العملية ضبط المعلمات الفائقة. في الأساس، تدرب نموذجك بشكل تسلسلي باستخدام مجموعات مختلفة من المعلمات الفائقة. يمكن أن تكون هذه العملية يدويةً، أو يمكنك اختيار إحدى الطرق الآلية الخاصة بضبط المعلمات الفائقة.
وأيًا كانت الطريقة التي تستخدمها، فأنت بحاجة إلى تتبع نتائج تجاربك. سيتعين عليك تطبيق بعض نماذج التحليل الإحصائي، مثل دالة الخسارة، لتحديد مجموعة المعلمات الفائقة التي تعطي أفضل نتيجة. عملية ضبط المعلمات الفائقة هي عملية مهمة كثيفة الحوسبة.
ما هي المعلمات الفائقة؟
المعلمات الفائقة هي متغيرات تكوين خارجية يستخدمها علماء البيانات في إدارة تدريب نماذج تعلّم الآلة. وتُسمى أحيانًا المعلمات الفائقة النموذجية، ويتم تعيين المعلمات الفائقة يدويًا قبل تدريب النموذج. وهي تختلف عن المعلمات التقليدية، وهي المعلمات الداخلية التي يتم اشتقاقها تلقائيًا أثناء عملية التعلم ولا يتم تعيينها بواسطة علماء البيانات.
من أمثلة المعلمات الفائقة عدد العُقد والطبقات الموجودة في الشبكة العصبونية وعدد الفروع في شجرة القرار. تحدد المعلمات الفائقة الميزات الرئيسية مثل بنية النموذج، ومعدل التعلم، ومدى تعقيد النموذج.
كيف يمكن تحديد المعلمات الفائقة؟
من المهم اختيار المجموعة الصحيحة من المعلمات الفائقة فهو يؤثر في أداء النموذج ودقته. ولسوء الحظ، لا توجد قواعد محددة تعمل عليها المعلمات الفائقة بشكل أفضل ولا توجد قيم مُثلى أو افتراضية لها. وأنت بحاجة لتجربة البحث عن مجموعة المعلمات الفائقة المُثلى. يُعرف هذا النشاط بضبط المعلمات الفائقة أو تحسين المعلمات الفائقة.
ما أهمية ضبط المعلمات الفائقة؟
تتحكم المعلمات الفائقة بصورة مباشرة في بنية النموذج ووظيفته وأدائه. يتيح ضبط المعلمات الفائقة لعلماء البيانات إمكانية تعديل أداء النموذج لتحقيق أفضل نتائج. وتُعد هذه العملية جزءًا أساسيًا من تعلّم الآلة، كما يُعد اختيار قيم المعلمات الفائقة المناسبة أمرًا بالغ الأهمية لتحقيق النجاح.
على سبيل المثال، افتراض أنك تستخدم معدل التعلم الخاص بالنموذج كمعلمة فائقة. إذا كانت القيمة عالية جدًا، فقد يتقارب النموذج بسرعة كبيرة مع تحقيق نتائج دون المستوى الأمثل. أما إذا كان المعدل منخفضًا جدًا، فإن التدريب سيستغرق وقتًا طويلاً وقد لا تتقارب النتائج. وسينتج عن الاختيار الجيد والمتوازن للمعلمات الفائقة نماذج دقيقة وأداء نموذجي ممتاز.
ما هي طريقة عمل ضبط المعلمات الفائقة؟
كما ذكرنا سابقًا، يمكن ضبط المعلمات الفائقة يدويًا أو آليًا. ورغم أن الضبط اليدوي يكون بطيئًا ومملاً، إلا أن ميزته تكمن في زيادة فهمك لكيفية تأثير قيم المعلمات الفائقة على النموذج. ولكنك في معظم الحالات، ستستخدم عادةً إحدى الخوارزميات المعروفة في تعلّم المعلمات الفائقة.
تُعد عملية ضبط المعلمات الفائقة عملية تكرارية، ويمكنك تجربة مجموعات مختلفة من المعلمات والقيم. وبشكل عام، فإنك ستبدأ بتحديد متغير مستهدف مثل الدقة كمقياس أساسي، وتقوم بتكبير هذا المتغير أو تصغيره. وسيكون من الجيد استخدام تقنيات التحقق المتقاطع، حتى لا يتم تركيز نموذجك على جزء واحد من بياناتك.
ما هي تقنيات ضبط المعلمات الفائقة؟
مع أنّ هناك العديد من خوارزميات ضبط المعلمات الفائقة، إلا أن الأنواع الأكثر استخدامًا هي تحسين بايزي (Bayesian optimization)، وبحث الشبكة، والبحث العشوائي.
تحسين بايزي
تحسين بايزي هو أسلوب يعتمد على نظرية بايز، التي تصف احتمالية وقوع حدث متعلق بالمعرفة الحالية. وعند تطبيق تحسين بايزي على تحسين المعلمة الفائقة، فإن الخوارزمية تبني نموذجًا احتماليًا من مجموعة معلمات فائقة تُحسّن مقياسًا معينًا. وهو يستخدم تحليل التراجع لتكرار اختيار مجموعة المعلمات الفائقة الأفضل.
بحث الشبكة
باستخدام بحث الشبكة، يمكنك تحديد قائمة معلمات فائقة ومقياس أداء، وتعمل الخوارزمية من خلال جميع التوافيق الممكنة لتحديد أفضل ملاءمة. يعمل بحث الشبكة بصورة جيدة، ولكنه يكون شاقًا نسبيًا ومكثفًا من الناحية الحسابية، خاصةً مع وجود عدد كبير من المعلمات الفائقة.
البحث العشوائي
رغم أن البحث العشوائي يعتمد على مبادئ مماثلة لبحث الشبكة، إلا أنه يختار مجموعات من المعلمات الفائقة بصورة عشوائية في كل تكرار. وهو يعمل بصورة جيدة حينما يقوم عدد صغير نسبيًا من المعلمات الفائقة بتحديد نتيجة النموذج بشكل أساسي.
ما هي بعض الأمثلة عن المعلمات الفائقة؟
مع أن بعض المعلمات الفائقة هي معلمات شائعة، إلا أنك من الناحية العملية ستجد أن الخوارزميات تستخدم مجموعاتٍ محددةً من المعلمات الفائقة. على سبيل المثال، يمكنك قراءة كيف تستخدم منصة Amazon SageMaker المعلمات الفائقة لتصنيف الصور وقراءة كيف تستخدم SageMaker المعلمات الفائقة الخاصة بخوارزمية XGBoost.
فيما يلي بعض الأمثلة على المعلمات الفائقة الشائعة:
- معدل التعلم هو المعدل الذي تقوم الخوارزمية بتحديث التقديرات وفقًا له
- تضاؤل معدل التعلم هو انخفاض تدريجي في معدل التعلم يحدث بمرور الوقت لتسريع التعلم
- قوة الدفع هو اتجاه الخطوة التالية مقارنةً بالخطوة السابقة
- عُقد الشبكة العصبونية تشير إلى عدد العُقد الموجودة في كل طبقة مخفية
- طبقات الشبكة العصبونية تشير إلى عدد الطبقات المخفية في أي شبكة عصبونية
- حجم الدفعة المصغرة يشير إلى حجم دفعة بيانات التدريب
- الفترات تشير إلى عدد مرات ظهور مجموعة بيانات التدريب الكاملة على الشبكة أثناء التدريب
- وقت الوصول المقدر هو انكماش حجم الخطوة لمنع التجهيز الزائد
كيف تساعد AWS في ضبط المعلمات الفائقة؟
في Amazon Web Services (AWS)، نقدّم خدمة Amazon SageMaker، وهي منصة تعلّم الآلة (ML) مُدارة بالكامل تتيح لك إجراء ضبط تلقائي للنماذج. يقوم تدريب النموذج من قِبَلِ Amazon SageMaker بالبحث عن أفضل إصدار من نموذج تعلّم الآلة (ML) الخاص بك من خلال تشغيل عدة مهام تدريب على مجموعة البيانات الخاصة بك. وهو يستخدم الخوارزمية المحددة ونطاقات المعلمات الفائقة.
تقدم SageMaker إصدارًا ذكيًا من طرق ضبط المعلمات الفائقة يعتمد على نظرية بحث بايزي التي هدفها إيجاد أفضل نموذج في أقصر وقت. وهي تبدأ ببحث عشوائي ولكنها تتعلم بعد ذلك كيفية عمل النموذج فيما يتعلق بقيم المعلمات الفائقة. للحصول على مزيد من المعلومات، اقرأ كيفية عمل ضبط المعلمات الفائقة في SageMaker.
كما يدعم الضبط التلقائي للنموذج من SageMaker أيضًا إستراتيجية Hyperband، وهي إستراتيجية بحث جديدة. يمكن لإستراتيجية Hyperband أن تجد مجموعة المعلمات الفائقة المُثلى بشكل أسرع من بحث بايزي بمقدار ثلاث مرات للنماذج واسعة النطاق مثل الشبكات العصبونية العميقة التي تعالج مشكلات رؤية الكمبيوتر.
يمكنك أيضًا قراءة كيفية إجراء الضبط التلقائي للنموذج باستخدام SageMaker. يمكنك استخدام وحدة ضبط المعلمات الفائقة من SageMaker باستخدام خوارزميات SageMaker المضمنة، وباستخدام الخوارزميات المخصصة، وباستخدام حاويات SageMaker مسبقة الإنشاء. تتضمن صفحة الويب دروسًا تعليمية وتدريبات شاملة للتعلم الذاتي لمساعدتك في تعلم كيفية تحسين المعلمات الفائقة.
بدء استخدام SageMaker هو أمر سهل؛ فلا يلزمك سوى إنشاء حساب AWS مجاني. مع الطبقة المجانية من AWS، تحصل على نسخة تجريبية مجانية لمدة شهرين من SageMaker قبل أن تضطر إلى بدء الدفع.
