ما عمليات التضمين في تعلّم الآلة؟
عمليات التضمين هي تمثيلات عددية لكائنات العالم الحقيقي التي تستخدمها أنظمة تعلم الآلة (ML) والذكاء الاصطناعي (AI) لفهم نطاقات المعرفة المعقدة مثلما يفهمها البشر. على سبيل المثال، تدرك خوارزميات الحوسبة أن الفرق بين 2 و3 هو 1، ما يشير إلى وجود علاقة وثيقة بين 2 و3 مقارنة بـ 2 و100. ومع ذلك، تتضمن البيانات الحقيقية علاقات أكثر تعقيدًا. على سبيل المثال، يعتبر عش الطيور وعرين الأسد أزواجًا متشابهة، في حين أن الليل والنهار هما مصطلحان متعاكسان. تحول عمليات التضمين كائنات العالم الحقيقي إلى تمثيلات رياضية معقدة تشير إلى الخصائص والعلاقات المتأصلة بين بيانات العالم الحقيقي. تتم أتمتة العملية بأكملها، عن طريق عمليات التضمين ذاتية الإنشاء لأنظمة الذكاء الاصطناعي أثناء التدريب واستخدامها حسب الحاجة لإكمال المهام الجديدة.
لماذا تعتبر عمليات التضمين مهمة؟
تمكّن عمليات التضمين نماذج التعليم العميق من فهم نطاقات البيانات الحقيقية بشكل أكثر فعَّالية. إنها تبسط كيفية تمثيل بيانات العالم الحقيقي مع الاحتفاظ بالعلاقات الدلالية والنحوية. يسمح هذا لخوارزميات تعلّم الآلة باستخراج ومعالجة أنواع البيانات المعقدة وتمكين تطبيقات الذكاء الاصطناعي المبتكرة. تصف الأقسام التالية بعض العوامل المهمة.
تقليل أبعاد البيانات
يستخدم علماء البيانات عمليات التضمين لتمثيل البيانات كثيرة الأبعاد في مساحة منخفضة الأبعاد. في علم البيانات، يشير مصطلح البعد عادةً إلى ميزة أو سمة في البيانات. تشير البيانات كثيرة الأبعاد في الذكاء الاصطناعي إلى مجموعات البيانات التي تحتوي على العديد من الميزات أو السمات التي تحدد كل نقطة بيانات. يمكن أن يعني هذا عشرات أو مئات أو حتى آلاف الأبعاد. على سبيل المثال، يمكن اعتبار الصورة بيانات كثيرة الأبعاد نظرًا لأن كل قيمة لون لوحدة بكسل تعتبر بُعد منفصل.
عند تقديم بيانات كثيرة الأبعاد، تتطلب نماذج التعليم العميق مزيدًا من القوة الحاسوبية والوقت للتعلم والتحليل والاستدلال بدقة. تقلل عمليات التضمين عدد الأبعاد من خلال تحديد القواسم المشتركة والأنماط بين الميزات المختلفة. وهذا بالتبعية يقلل ما يلزم من موارد الحوسبة والوقت لمعالجة البيانات الأولية.
تدريب نماذج اللغة الكبيرة
تحسن عمليات التضمين جودة البيانات عند تدريب نماذج اللغة الكبيرة (LLMs). على سبيل المثال، يستخدم علماء البيانات عمليات التضمين لتنظيف بيانات التدريب من الحالات غير الطبيعية التي تؤثر في تعلُّم النماذج. يمكن لمهندسي تعلّم الآلة أيضًا إعادة استخدام النماذج المدرَّبة مسبقًا عن طريق إضافة عمليات تضمين جديدة لنقل التعلم، الأمر الذي يتطلب تحسين النموذج التأسيسي بمجموعات بيانات جديدة. باستخدام عمليات التضمين، يمكن للمهندسين ضبط نموذج لمجموعات بيانات مخصصة من العالم الحقيقي.
إنشاء تطبيقات مبتكرة
تتيح عمليات التضمين تطبيقات التعليم العميق والذكاء الاصطناعي ( AI) المولَّد الجديدة. تسمح تقنيات التضمين المختلفة المطبقة في بنية الشبكة العصبونية بتطوير نماذج ذكاء اصطناعي دقيقة وتدريبها ونشرها في مختلف المجالات والتطبيقات. على سبيل المثال:
- من خلال عمليات تضمين الصور، يمكن للمهندسين إنشاء تطبيقات رؤية الكمبيوتر عالية الدقة لاكتشاف الأشياء والتعرُّف على الصور والمهام ذات الصلة بالرؤية الأخرى.
- باستخدام عمليات تضمين الكلمات، يمكن لبرامج معالجة اللغة الطبيعية فهم سياق الكلمات وعلاقاتها بدقة أكبر.
- تستخرج وتصنف عمليات تضمين الرسوم البيانية المعلومات ذات الصلة من العقد المترابطة لدعم تحليل الشبكة.
تستخدم جميع نماذج رؤية الكمبيوتر وروبوتات الدردشة بالذكاء الاصطناعي وأنظمة التوصية بالذكاء الاصطناعي عمليات التضمين لإكمال المهام المعقدة التي تحاكي الذكاء البشري.
ما المتجهات في عمليات التضمين؟
لا يمكن لنماذج تعلُّم الآلة تفسير المعلومات بشكل مفهوم في شكلها الأولي وتتطلب بيانات رقمية كمدخلات. تستخدم عمليات تضمين الشبكة العصبونية لتحويل معلومات الكلمات الحقيقية إلى تمثيلات عددية تسمى المتجهات. المتجهات هي قيم عددية تمثل المعلومات في مساحة متعددة الأبعاد. إنها تساعد نماذج تعلُّم الآلة في العثور على أوجه التشابه بين العناصر الموزعة بشكل ضئيل.
كل كائن يتعلم منه نموذج تعلم الآلة له خصائص أو ميزات مختلفة. كمثال بسيط، فكر في الأفلام والبرامج التلفزيونية التالية. يتميز كل منها بالفئة والنوع وسنة الإصدار.
The Conference (رعب، 2023، فيلم)
Upload (كوميديا، 2023، برنامج تلفزيوني، الموسم الثالث)
Tales from the Crypt (رعب، 1989، برنامج تلفزيوني، الموسم 7)
Dream Scenario (كوميديا الرعب، 2023، فيلم)
يمكن لنماذج تعلُّم الآلة تفسير المتغيرات العددية مثل السنوات، ولكن لا يمكنها مقارنة المتغيرات غير العددية مثل الفئة والأنواع والحلقات ومجموع المواسم. تشفر متجهات التضمين البيانات غير العددية إلى سلسلة من القيم التي يمكن لنماذج تعلُّم الآلة فهمها والربط بينها. على سبيل المثال، فيما يلي تمثيل افتراضي للبرامج التلفزيونية المدرجة سابقًا.
The Conference (1.2, 2023, 20.0)
Upload (2.3, 2023, 35.5)
Tales from the Crypt (1.2, 1989, 36.7)
Dream Scenario (1.8, 2023, 20.0)
الرقم الأول في المتجه يتوافق مع فئة معينة. سيجد نموذج تعلُّم الآلة أن The Conference ووTales from the Crypt يشتركان في الفئة نفسها. وبالمثل، سيجد النموذج مزيدًا من الروابط بين Upload وTales from the Crypt استنادًا إلى الرقم الثالث، الذي يمثل النوع والمواسم والحلقات. عند إدخال المزيد من المتغيرات، يمكنك تحسين النموذج لتكثيف المزيد من المعلومات في مساحة متجهات أصغر.
كيف تعمل عمليات التضمين؟
تحول عمليات التضمين البيانات الأولية إلى قيم مستمرة يمكن لنماذج تعلّم الآلة تفسيرها. بشكل تقليدي، تستخدم نماذج تعلّم الآلة تشفير الواحد النشط لتعيين المتغيرات الفئوية إلى نماذج يمكن التعلّم منها. تقسم طريقة التشفير كل فئة إلى صفوف وأعمدة وتعين قيمًا ثنائية لها. فكر في الفئات التالية للمنتجات وسعرها.
| الفواكة |
السعر |
| Apple |
5.00 |
| البرتقال |
7.00 |
| الجزر |
10.00 |
يؤدي تمثيل القيم باستخدام نتائج التشفير الواحد النشط في الجدول التالي.
| Apple |
البرتقال |
الكمثرى |
السعر |
| 1 |
0 |
0 |
5.00 |
| 0 |
1 |
0 |
7.00 |
| 0 |
0 |
1 |
10.00 |
يُمثل الجدول رياضيًا كمتجهات [1,0,0,5.00] و[0,1,0,7.00] و[0,0,1,10.00].
يوسع التشفير الواحد النشط قيم الأبعاد 0 و1 بدون توفير معلومات تساعد النماذج في الربط بين الكائنات المختلفة. على سبيل المثال، لا يمكن للنموذج العثور على أوجه تشابه بين التفاح والبرتقال على الرغم من كونهما فاكهة، ولا يمكنه التمييز بين البرتقال والجزر كفاكهة وخضراوات. ومع إضافة المزيد من الفئات إلى القائمة، ينتج عن التشفير متغيرات موزعة بشكل ضئيل مع العديد من القيم الفارغة التي تستهلك مساحة ذاكرة هائلة.
تحول عمليات التضمين الكائنات إلى متجهات في مساحة منخفضة الأبعاد من خلال تمثيل أوجه التشابه بين الكائنات بقيم عددية. تضمن عمليات تضمين الشبكة العصبونية أن يظل عدد الأبعاد قابلاً للإدارة من خلال توسيع نطاق ميزات الإدخال. ميزات الإدخال هي سمات كائنات محددة تُكلف خوارزمية تعلُّم الآلة (ML) بتحليلها. يسمح تقليل الأبعاد لعمليات التضمين بالاحتفاظ بالمعلومات التي تستخدمها نماذج تعلُّم الآلة للعثور على أوجه التشابه والاختلاف من بيانات الإدخال. يمكن لعلماء البيانات أيضًا تمثيل عمليات التضمين مرئيًا في مساحة ثنائية الأبعاد لفهم العلاقات بين الكائنات الموزعة بشكل أفضل.
ما المقصود بنماذج التضمين؟
نماذج التضمين عبارة عن خوارزميات مدرَّبة لتضمين المعلومات في تمثيلات كثيفة في مساحة متعددة الأبعاد. يستخدم علماء البيانات نماذج التضمين لتمكين نماذج تعلُّم الآلة من الفهم والاستدلال باستخدام البيانات كثيرة الأبعاد. هذه نماذج تضمين شائعة تُستخدم في تطبيقات تعلُّم الآلة.
تحليل المكونات الرئيسة
تحليل المكونات الرئيسية (PCA) هو أسلوب لتقليل الأبعاد يقلل أنواع البيانات المعقدة إلى متجهات منخفضة الأبعاد. يعثر على نقاط البيانات ذات أوجه التشابه ويضغطها في متجهات تضمين تعكس البيانات الأصلية. بينما يسمح تحليل المكونات الرئيسية (PCA) للنماذج بمعالجة البيانات الأولية بشكل أكثر كفاءة، فقد يحدث فقدان المعلومات أثناء المعالجة.
تحليل القيمة الفردية
تحليل القيمة الفردية (SVD) هو نموذج تضمين يحول مصفوفة واحدة إلى مصفوفات مفردة. تحتفظ المصفوفات الناتجة بالمعلومات الأصلية مع السماح للنماذج بفهم العلاقات الدلالية للبيانات التي تمثلها بشكل أفضل. يستخدم علماء البيانات تحليل القيمة الفردية (SVD) لتمكين مهام تعلّم الآلة المختلفة، بما في ذلك ضغط الصور وتصنيف النص والتوصية.
Word2Vec
Word2Vec هي خوارزمية تعلّم آلة مُدربة على ربط الكلمات وتمثيلها في مساحة التضمين. يزود علماء البيانات نموذج Word2Vec بمجموعات بيانات نصية ضخمة لتمكين فهم اللغة الطبيعية. يجد النموذج أوجه تشابه في الكلمات من خلال النظر في سياقها وعلاقاتها الدلالية.
هناك نوعان مختلفان من Word2Vec - حقيبة الكلمات المستمرة (CBOW) ونموذج تخطّي الكلمات. تسمح حقيبة الكلمات المستمرة (CBOW) للنموذج بالتنبؤ بكلمة من السياق المحدد، بينما يستخلص نموذج تخطّي الكلمات السياق من كلمة معينة. وفي حين أن Word2Vec هي تقنية فعَّالة لتضمين الكلمات، فإنها لا تستطيع التمييز بدقة بين الاختلافات السياقية للكلمة نفسها المستخدمة للإشارة إلى معاني مختلفة.
BERT
نموذج تمثيلات التشفير ثنائي الاتجاه من المحولات (BERT) هو نموذج لغوي قائم على المحولات مُدرَّب باستخدام مجموعات بيانات ضخمة لفهم اللغات مثلما يفهمها البشر. مثل Word2Vec، يمكن لـ BERT إنشاء عمليات تضمين الكلمات من بيانات الإدخال التي دُرِّب عليها. بالإضافة إلى ذلك، يمكن لـ BERT التمييز بين المعاني السياقية للكلمات عند تطبيقها على عبارات مختلفة. على سبيل المثال، ينشئ BERT عمليات تضمين مختلفة لكلمة "play" كما هو الحال في "ذهبت إلى مسرحية" و"أحب اللعب".
كيف تُنشأ التضمينات؟
يستخدم المهندسون الشبكات العصبونية لإنشاء التضمينات. وتتكون الشبكات العصبونية من طبقات عصبونية مخفية تتخذ قرارات معقدة بشكل متكرر. وعند إنشاء التضمينات، تتعلم إحدى الطبقات المخفية كيفية تحليل ميزات الإدخال إلى متجهات. ويحدث هذا قبل طبقات معالجة الميزات. يشرف المهندسون على هذه العملية ويوجهونها باتباع الخطوات التالية:
- يغذي المهندسون الشبكة العصبونية ببعض العينات المتجهة المعدة يدويًا.
- تتعلم الشبكة العصبونية من الأنماط المكتشفة في العينة، وتستخدم هذه المعرفة لوضع تنبؤات دقيقة من بيانات غير مشمولة في العينة.
- في بعض الأحيان، قد يحتاج المهندسون إلى ضبط النموذج للتأكد من أنه يوزع ميزات الإدخال في مساحة الأبعاد المناسبة.
- بمرور الوقت، تعمل التضمينات بشكل مستقل، ما يسمح لنماذج تعلّم الآلة (ML) بإنشاء توصيات من التمثيلات المتجهة.
- يستمر المهندسون في مراقبة أداء التضمين وإجراء ضبط دقيق باستخدام البيانات الجديدة.
كيف يمكن لـ AWS المساعدة في تلبية متطلبات التضمين؟
Amazon Bedrock عبارة عن خدمة مُدارة بالكامل توفر مجموعة مختارة من نماذج التأسيس (FM) العالية الأداء من شركات الذكاء الاصطناعي الرائدة، إلى جانب مجموعة واسعة من الميزات لإنشاء تطبيقات الذكاء الاصطناعي المولّد. نماذج التأسيس المقدمة من Amazon Bedrock Titan عبارة عن مجموعة من نماذج التأسيس التي تم تدريبها مسبقًا بواسطة AWS على مجموعات البيانات الكبيرة. وهي نماذج قوية ومخصصة للأغراض العامة ومصممة لدعم مجموعة متنوعة من حالات الاستخدام. يمكنك استخدامها على حالتها كما هي أو تخصيصها باستخدام بياناتك الخاصة.
Titan Embeddings من أحد نماذج اللغات الكبيرة، وهو يترجم النص إلى تمثيل رقمي. يدعم نموذج Titan Embeddings استرجاع النص والتشابه الدلالي والتجميع. الحد الأقصى لنص الإدخال هو 8 آلاف رمز مميز والحد الأقصى لطول متجه الإخراج هو 1536.
يمكن لفرق تعلّم الآلة أيضًا استخدام Amazon SageMaker لإنشاء تضمينات. خدمة Amazon SageMaker عبارة عن مركز يمكنك فيه إنشاء نماذج تعلّم آلة وتدريبها ونشرها في بيئة آمنة وقابلة للتوسعة. وهي تقدم أسلوب تضمين يُدعى Object2Vec، يمكن للمهندسين من خلاله تحويل البيانات العالية الأبعاد إلى متجهات رقمية في مساحة منخفضة الأبعاد. ويمكنك استخدام التضمينات المكتسبة لحساب العلاقات بين الكائنات للمهام في المراحل النهائية، مثل التصنيفات والتراجع.
يمكنك بدء استخدام التضمينات على AWS عن طريق إنشاء حساب اليوم.
