ما المقصود بالشبكة العصبونية التكرارية (RNN)؟
الشبكة العصبونية التكرارية (RNN) عبارة عن نموذج من نماذج التعليم العميق تم تدريبه على معالجة إدخالات البيانات المتسلسلة وتحويلها إلى مخرجات بيانات متسلسلة محددة. والبيانات المتسلسلة عبارة عن بيانات - مثل الكلمات أو الجمل أو بيانات السلاسل الزمنية - تترابط فيها المكونات المتسلسلة استنادًا إلى الدلالات المعقدة وقواعد النحو. الشبكة العصبونية التكرارية هي نظام برمجي يتكون من العديد من المكونات المترابطة التي تحاكي كيفية تنفيذ البشر لعمليات تحويل البيانات المتسلسلة، مثل ترجمة النص من لغة إلى أخرى. وتُستبدَل الشبكات العصبونية التكرارية إلى حد كبير بالذكاء الاصطناعي (AI) المستند إلى المحولات ونماذج اللغات الكبيرة (LLM)، والتي تعد أكثر كفاءة في معالجة البيانات المتسلسلة.
كيف تعمل الشبكة العصبونية التكرارية؟
تعرض الصورة التالية رسمًا تخطيطيًا لشبكة عصبونية تكرارية.
تتكون الشبكات العصبونية التكرارية من خلايا عصبونية: عُقد معالجة البيانات التي تعمل معًا لأداء مهام معقدة. تُنظم الخلايا العصبونية كمدخلات ومخرجات وطبقات خفية. تستقبل طبقة الإدخال المعلومات لمعالجتها، وتوفر طبقة الإخراج النتيجة. تتم معالجة البيانات وتحليلها والتنبؤ بها في الطبقة الخفية.
الطبقة الخفية
تعمل الشبكات العصبونية التكرارية عن طريق تمرير البيانات المتسلسلة التي تتلقاها إلى الطبقات الخفية خطوة واحدة في كل مرة. ومع ذلك، فإنها تحتوي أيضًا على سير عمل حلقي أو تكراري: يمكن للطبقة الخفية تذكر الإدخالات السابقة واستخدامها لوضع تنبؤات مستقبلية في مكون الذاكرة القصير المدى. تستخدم الإدخال الحالي والذاكرة المخزنة للتنبؤ بالتسلسل التالي.
على سبيل المثال، فكر في التسلسل: التفاحة لونها أحمر. تريد أن تتنبأ الشبكة العصبونية التكرارية بكلمة أحمر عندما تتلقى تسلسل الإدخال التفاحة لونها. عندما تعالج الطبقة الخفية كلمة التفاحة، فإنها تخزن نسخة في ذاكرتها. بعد ذلك، عندما ترى الكلمة لونها، فإنها تستدعي كلمة التفاحة من ذاكرتها وتفهم التسلسل الكامل: التفاحة لونها لمعرفة لسياق. يمكن بعد ذلك التنبؤ بكلمة أحمر لتحسين الدقة. هذا يجعل الشبكات العصبونية التكرارية مفيدة في التعرُّف على الكلام والترجمة الآلية ومهام نمذجة اللغات الأخرى.
تدريب
يدرَّب مهندسو تعلم الآلة (ML) الشبكات العصبونية العميقة مثل الشبكات العصبونية التكرارية (RNN) من خلال تغذية النموذج ببيانات التدريب وتحسين أدائه. في تعلُّم الآلة، تكون أوزان الخلايا العصبونية عبارة عن إشارات لتحديد مدى تأثير المعلومات المكتسبة أثناء التدريب عند التنبؤ بالمخرجات. كل طبقة في شبكة عصبونية تكرارية لديها نفس الوزن.
يضبط مهندسو تعلم الآلة (ML) الأوزان لتحسين دقة التنبؤ. يستخدمون تقنية تسمى الانتشار العكسي عبر الزمن (BPTT) لحساب خطأ النموذج وضبط وزنه وفقًا لذلك. تعيد تقنية الانتشار العكسي عبر الزمن (BPTT) المخرج إلى الخطوة الزمنية السابقة وتعيد حساب معدل الخطأ. وبهذه الطريقة، يمكن لها تحديد الحالة الخفية في التسلسل التي تسبب خطأً كبيرًا وإعادة ضبط الوزن لتقليل هامش الخطأ.
ما أنواع الشبكات العصبونية التكرارية؟
غالبًا ما تتميز الشبكات العصبونية التكرارية ببنية واحد إلى واحد: يرتبط تسلسل إدخال واحد بمخرج واحد. ومع ذلك، يمكنك تعديلها بمرونة إلى تكوينات مختلفة لأغراض محددة. فيما يلي العديد من أنواع الشبكة العصبونية التكرارية الشائعة.
واحد إلى متعدد
توجه الشبكة العصبونية التكرارية إدخال واحد إلى عدة مخرجات. إنها تتيح التطبيقات اللغوية مثل التسمية التوضيحية للصور عن طريق إنشاء جملة من كلمة رئيسة واحدة.
متعدد إلى متعدد
يستخدم النموذج إدخالات متعددة للتنبؤ بمخرجات متعددة. على سبيل المثال، يمكنك إنشاء مترجم لغوي باستخدام الشبكة العصبونية التكرارية، والذي يحلل الجملة ويركب الكلمات بشكل صحيح بلغة مختلفة.
متعدد إلى واحد
تُعيَّن العديد من المدخلات إلى مخرج واحد. هذا مفيد في تطبيقات مثل تحليل المشاعر، حيث يتنبأ النموذج بمشاعر العملاء مثل المشاعر الإيجابية والسلبية والمحايدة من شهادات الإدخالات.
كيف تقارن الشبكات العصبونية التكرارية بشبكات التعليم العميق الأخرى؟
تعد الشبكات العصبونية التكرارية (RNN) واحدة من العديد من بنيات الشبكات العصبونية المختلفة.
الشبكة العصبونية التكرارية مقابل الشبكة العصبونية ذات التغذية الأمامية
مثل الشبكات العصبونية التكرارية (RNN)، فإن الشبكات العصبونية ذات التغذية الأمامية هي شبكات عصبونية اصطناعية تنقل المعلومات من طرف إلى آخر في البنية. يمكن للشبكة العصبونية ذات التغذية الأمامية إجراء مهام تصنيف أو التراجع أو التعرُّف البسيطة، ولكنها لا يمكنها تذكر الإدخال السابق الذي عالجته. على سبيل المثال، تنسى كلمة التفاح عندما تعالج خليتها العصبونية هذه الكلمة. تتغلب الشبكة العصبونية التكرارية على قيود الذاكرة هذه من خلال تضمين حالة ذاكرة مخفية في الخلية العصبونية.
الشبكة العصبونية التكرارية مقابل الشبكات العصبونية الترشيحية
الشبكات العصبونية الترشيحية هي شبكات عصبونية اصطناعية مصممة لمعالجة البيانات الزمنية. يمكنك استخدام الشبكات العصبونية الترشيحية لاستخراج المعلومات المكانية من مقاطع الفيديو والصور عن طريق تمريرها عبر سلسلة من طبقات الترشيح والتجميع في الشبكة العصبونية. صُممت الشبكات العصبونية التكرارية (RNN) لتسجيل التبعيات طويلة المدى في البيانات المتسلسلة
ما قيود الشبكات العصبونية التكرارية؟
منذ ظهور الشبكات العصبونية التكرارية (RNN)، حقق مهندسو تعلّم الآلة (ML) تقدمًا كبيرًا في تطبيقات معالجة اللغة الطبيعية (NLP) باستخدام الشبكات العصبونية التكرارية ومشابهاتها. ومع ذلك، فإن مجموعة نماذج الشبكات العصبونية التكرارية تعاني من العديد من القيود.
القراءة عن معالجة اللغة الطبيعية
انفجار المشتقة
يمكن للشبكات العصبونية التكرارية التنبؤ بشكل خاطئ بالمخرجات في التدريب الأولي. تحتاج إلى العديد من التكرارات لضبط معلمات النموذج لتقليل معدل الخطأ. يمكنك وصف حساسية معدل الخطأ المقابل لمعلمة النموذج كمشتقة. يمكنك تخيل المشتقة كمنحدر تسلكه للنزول من التل. تمكّن المشتقة الأكثر انحدارًا النموذج من التعلم بشكل أسرع، بينما تقلل المشتقة الضحلة من معدل التعلم.
يحدث انفجار المشتقة عندما تزداد المشتقة أضعافًا مضاعفة حتى تصبح الشبكة العصبونية التكرارية (RNN) غير مستقرة. عندما تصبح المشتقات كبيرة بشكل لا متناهٍ، تتصرف الشبكة العصبونية التكرارية (RNN) بشكل غير منتظم، ما يؤدي إلى مشكلات في الأداء مثل فرط التخصيص. يعد فرط التخصيص ظاهرة حيث يمكن للنموذج التنبؤ بها بدقة باستخدام بيانات التدريب ولكن لا يمكنه فعل الشيء نفسه باستخدام بيانات واقعية.
تلاشي المشتقة
مشكلة تلاشي المشتقات هي حالة تقترب فيها مشتقة النموذج من الصفر في أثناء التدريب. عندما تتلاشى المشتقة، تفشل الشبكة العصبونية التكرارية في التعلم بفعالية من بيانات التدريب، ما يؤدي إلى فرط التعميم. لا يمكن لنموذج فرط التعميم أن يعمل بشكل جيد في التطبيقات الواقعية لأن أوزانه لم تُعدل على نحو صحيح. تتعرض الشبكات العصبونية التكرارية (RNN) لخطر مشكلات تلاشي وانفجار المشتقات عند معالجة تسلسلات البيانات الطويلة.
وقت تدريب بطيء
تعالج الشبكة العصبونية التكرارية (RNN) البيانات بالتتابع، ما يحد من قدرتها على معالجة عدد كبير من النصوص بكفاءة. على سبيل المثال، يمكن لنموذج الشبكة العصبونية التكرارية تحليل مشاعر المشتري من خلال جملتين. ومع ذلك، يتطلب الأمر قوة حوسبة هائلة ومساحة ذاكرة ووقتًا لتلخيص صفحة من مقال.
ما بعض أنواع بنية الشبكة العصبونية التكرارية؟
وضعت بنية الشبكة العصبونية التكرارية (RNN) الأساس لنماذج تعلّم الآلة (ML) للحصول على إمكانات معالجة اللغة. ظهرت العديد من الأنواع التي تشترك في مبدأ الاحتفاظ بالذاكرة وتحسن وظائفها الأصلية. وفيما يلي بعض الأمثلة.
الشبكات العصبونية التكرارية ثنائية الاتجاه
تعالج الشبكة العصبونية التكرارية ثنائية الاتجاه (BRNN) تسلسلات البيانات بطبقات أمامية وخلفية من العقد الخفية. تعمل الطبقة الأمامية بشكل مشابه للشبكة العصبونية التكرارية (RNN)، التي تخزن الإدخالات السابقة في الحالة الخفية وتستخدمها للتنبؤ بالإخراج اللاحق. وفي الوقت نفسه، تعمل الطبقة الخلفية في الاتجاه المعاكس من خلال أخذ كل من الإدخالات الحالية والحالة الخفية المستقبلية لتحديث الحالة الخفية الحالية. يتيح الجمع بين كلتا الطبقتين في الشبكة العصبونية التكرارية ثنائية الاتجاه (BRNN) تحسين دقة التنبؤ من خلال النظر في السياقات السابقة والمستقبلية. على سبيل المثال، يمكنك استخدام الشبكة العصبونية التكرارية ثنائية الاتجاه للتنبؤ بكلمات الأشجارفي الجملة أشجار التفاح طويلة.
الذاكرة القصيرة المدى المطولة
الذاكرة القصيرة المدى المطولة (LSTM) هي أحد أنواع الشبكة العصبونية التكرارية (RNN) التي تمكّن النموذج من توسيع سعة الذاكرة لاستيعاب مخطط زمني أطول. يمكن للشبكة العصبونية التكرارية تذكر الإدخالات السابقة المباشرة فقط. لا يمكنها استخدام الإدخالات من عدة تسلسلات سابقة لتحسين تنبؤاتها.
تأمل الجمل التالية: توم قط. طعام توم المفضل هو السمك. عندما تستخدم الشبكة العصبونية التكرارية، لا يتذكر النموذج أن توم قط. قد يطرح العديد من الأطعمة عندما يتنبأ بالكلمة الأخيرة. تضيف شبكات الذاكرة القصيرة المدي المطولة (LSTM) كتلة ذاكرة خاصة تسمى الخلايا في الطبقة الخفية. يتم التحكم في كل خلية من خلال بوابة الإدخال وبوابة الإخراج وبوابة النسيان، والتي تمكن الطبقة من تذكر المعلومات المفيدة. على سبيل المثال، تتذكر الخلية الكلمتين توم وقط، ما يمكّن النموذج من التنبؤ بكلمة سمكة.
الوحدات التكرارية المبوبة
الوحدة التكرارية المبوبة (GRU) هي شبكة عصبونية تكرارية تتيح الاحتفاظ بالذاكرة الانتقائية. يضيف النموذج تحديثًا وينسى بوابة الطبقة الخفية، والتي يمكنها تخزين المعلومات في الذاكرة أو إزالتها.
كيف تتغلب المحولات على قيود الشبكات العصبونية التكرارية؟
المحولات هي نماذج للتعليم العميق تستخدم آليات الانتباه الذاتي في الشبكة العصبونية ذات التغذية الأمامية وذات إمكانات التشفير وفك التشفير. يمكنها معالجة البيانات المتسلسلة بالطريقة نفسها التي تعالج بها الشبكات العصبونية التكرارية (RNN) البيانات.
الانتباه الذاتي
لا تستخدم المحولات الحالات الخفية لاستيعاب الترابطات بين تسلسلات البيانات. بدلاً من ذلك، يستخدمون رأس الانتباه الذاتي لمعالجة تسلسلات البيانات بالتوازي. يتيح ذلك للمحولات تدريب ومعالجة تسلسلات أطول في وقت أقل مقارنةً بالشبكة العصبونية التكرارية (RNN). باستخدام آلية الانتباه الذاتي، تتغلب المحولات على قيود الذاكرة والترابطات بين التسلسلات التي تواجهها الشبكات العصبونية التكرارية. يمكن للمحولات معالجة تسلسلات البيانات بالتوازي واستخدام التشفير الموضعي لتذكر كيفية ارتباط كل إدخال بالإدخالات الأخرى.
التوازي
تحل المحولات مشكلات المشتقة التي تواجهها الشبكات العصبونية التكرارية (RNN) من خلال تمكين التوازي أثناء التدريب. من خلال معالجة جميع تسلسلات الإدخال في وقت واحد، لا يخضع المحول لقيود الانتشار العكسي لأن المشتقات يمكن أن تتدفق بحرية إلى جميع الأوزان. كما تم تحسينها أيضًا للحوسبة المتوازية، التي تقدمها وحدات معالجة الرسومات (GPUs) لإحراز تطورات في مجال الذكاء الاصطناعي المولّد. يتيح التوازي للمحولات التوسع على نطاق واسع والتعامل مع مهام معالجة اللغة الطبيعية المعقدة من خلال إنشاء نماذج أكبر.
كيف يمكن لـ AWS دعم متطلبات الشبكات العصبونية التكرارية (RNN)؟
الذكاء الاصطناعي المولّد على Amazon Web Services (AWS) يوفر الخدمات والأدوات والموارد التي يمكنك استخدامها لإنشاء تطبيقات الذكاء الاصطناعي التقليدية وإدارتها وتوسيع نطاقها باستخدام التكنولوجيا المتقدمة القائمة على المحولات. على سبيل المثال:
- Amazon SageMaker هي خدمة مُدارة بالكامل يُمكنك استخدامها في تحضير البيانات وإنشاء نماذج تعلم الآلة لأي حالة استخدام وتدريبها ونشرها. لديها بنية تحتية وأدوات وعمليات سير عمل مُدارة بالكامل.
- تبسِّط Amazon Bedrock عملية تطوير الذكاء الاصطناعي المولّد من خلال تمكين تخصيص ونشرنماذج التأسيس (FM) الرائدة في الصناعة بأمان وكفاءة.
- AWS Trainium عبارة عن مسرّع تعلم الآلة يمكنك استخدامه لتدريب نماذج التعليم العميق وتوسيع نطاقها بتكلفة معقولة في السحابة.
ابدأ استخدام الذكاء الاصطناعي المولّد على AWS من خلال تسجيل الاشتراك للحصول على حساب اليوم.
الخطوات التالية على AWS
