ما هي نماذج اللغات الكبيرة؟
نماذج اللغة الكبيرة (LLM) هي نماذج تعليم عميق كبيرة جدًا مدرَّبة مسبقًا على كميات هائلة من البيانات. المُحوّل الأساسي هو مجموعة من الشبكات العصبونية التي تتكون من وحدتَي تشفير وفك تشفير مع قدرات الانتباه الذاتي. تستخرج وحدتَا التشفير وفك التشفير المعاني من تسلسل نصي، وتفهمان العلاقات بين الكلمات والعبارات الموجودة فيها.
إن نماذج اللغة الكبيرة القائمة على المحوِّل قادرة على التدريب بدون إشراف، ويرجع ذلك بشكل أدق إلى قدرة المحولات على التعلم الذاتي. تكتسب المحولات من خلال هذه العملية فهمًا للقواعد النحوية الأساسية واللغات والمعارف.
على عكس الشبكات العصبونية المتكررة (RNN) التي ظهرت في السابق وتعالج المدخلات بالتتابع، تعالج المحولات التسلسلات بالكامل بالتوازي. يسمح هذا لعلماء البيانات باستخدام وحدات معالجة الرسومات (GPU) لتدريب نماذج اللغة الكبيرة القائمة على المحولات، ما يقلل بشكل كبير من وقت التدريب.
تسمح هيكلة الشبكة العصبونية للمحوِّل باستخدام نماذج كبيرة للغاية تحوي مئات المليارات من المعلمات في الغالب. يمكن لمثل هذه النماذج كبيرة النطاق استيعاب كميات هائلة من البيانات، غالبًا من الإنترنت، ولكن أيضًا من مصادر مثل Common Crawl الذي يضم أكثر من 50 مليار صفحة ويب بالإضافة إلى ويكيبيديا تتضمن ما يقرب من 57 مليون صفحة.
لماذا تُعد نماذج اللغة الكبيرة مهمة؟
تتميز نماذج اللغة الكبيرة (LLM) بمرونة مدهشة. يمكن لنموذج واحد أداء مهام مختلفة تمامًا، مثل الإجابة عن الأسئلة وتلخيص المستندات وترجمة اللغات وإكمال الجمل. تمتلك نماذج اللغة الكبيرة القدرة على إحداث تطور بالغ في كيفية إنشاء المحتوى وطريقة استخدام الأشخاص لمحركات البحث وأدوات المساعدة الافتراضية.
على الرغم من أن هذه النماذج ليست مثالية، فإنها تُظهر قدرة رائعة على التوصل إلى تنبؤات استنادًا إلى عدد صغير نسبيًا من المطالبات أو المدخلات. يمكن استخدام نماذج اللغة الكبيرة للذكاء الاصطناعي (AI) المولّد لإنشاء محتوى يعتمد على مطالبات الإدخال باللغة البشرية.
إن نماذج اللغة الكبيرة واسعة النطاق بحق. فإنه يمكنها النظر في مليارات المعلمات ولها العديد من الاستخدامات الممكنة. إليك بعض الأمثلة:
- يحتوي نموذج GPT-3 الخاص بـ Open AI على 175 مليار مَعْلمة. يستطيع الإصدار القريب منه، ChatGPT، تحديد الأنماط من البيانات وإنشاء مخرجات طبيعية وقابلة للقراءة. على الرغم من أننا لا نعرف حجم النموذج Claude 2، فإنه يمكن أن يتطلب مدخلات تصل إلى 100 ألف رمز مميز في كل مطالبة، ما يعني أنه يمكن أن يعالج مئات الصفحات من الوثائق الفنية أو حتى كتابًا كاملاً.
- يحتوي نموذج Jurassic-1 المقدم من AI21 Labs على 178 مليار مَعْلمة ومفردات رموز مميزة تتألف من 250 ألف جزء من أجزاء الكلمات ويتمتع بقدرات تحاورية مماثلة.
- يتمتع نموذج Command المقدم من Cohere بقدرات مماثلة ويمكنه العمل بأكثر من 100 لغة مختلفة.
- يقدم Paradigm الذي صممته شركة LightOn نماذج تأسيس بقدرات مزعومة تتجاوز تلك التي يتمتع بها النموذج GPT-3. تأتي جميع نماذج اللغة الكبيرة هذه مزودة بواجهات برمجة تطبيقات تسمح للمطورين بإنشاء تطبيقات ذكاء اصطناعي مولّد فريدة.
كيف تعمل نماذج اللغات الكبيرة؟
إن العامل الرئيس في طريقة عمل نماذج اللغات الكبيرة (LLM) هو الطريقة التي تستخدمها هذه النماذج في تمثيل الكلمات. كانت تستخدم نماذج تعلّم الآلة السابقة جدولاً رقميًا لتمثيل كل كلمة. ومع ذلك، تعذر على نموذج التمثيل هذا تحديد العلاقات بين الكلمات، مثل الكلمات المتشابهة في المعنى. تم التغلب على هذا التقييد باستخدام متجهات متعددة الأبعاد، ويُشار إليها عادةً باسم عمليات تضمين الكلمات، لتمثيل الكلمات بحيث تكون الكلمات المتشابهة في المعنى السياقي أو العلاقات الأخرى قريبة من بعضها في مساحة المتجه.
عند استخدام عمليات تضمين الكلمات، يمكن للمحولات معالجة النصوص مسبقًا باعتبارها تمثيلات رقمية من خلال أداة الترميز، وفهم سياق الكلمات والعبارات المتشابهة في المعنى، وكذلك العلاقات الأخرى بين الكلمات مثل أجزاء الكلام، ومن ثمَّ يمكن لنماذج اللغات الكبيرة تطبيق هذه المعرفة باللغة من خلال وحدة فك الترميز لتقديم مخرجات فريدة.
ما تطبيقات نماذج اللغات الكبيرة؟
تتوفر العديد من التطبيقات العملية لنماذج اللغات الكبيرة (LLM).
كتابة المحتوى
باستثناء GPT-3 وChatGPT، يمكن لـ Claude وLlama 2 وCohere Command وJurassiccan كتابة محتوى أصلي. ويقترح AI21 Wordspice إجراء تغييرات على الجُمل الأصلية لتحسين الأسلوب والصياغة.
تقديم الإجابات القائمة على قاعدة المعرفة
يُشار إليه غالبًا باسم معالجة اللغة الطبيعية كثيفة المعرفة (KI-NLP)، وتشير التقنية إلى نماذج اللغات الكبيرة (LLM) التي يمكنها الإجابة عن أسئلة محددة من المساعدة المعلوماتية في الأرشيفات الرقمية. ومن أمثلة ذلك قدرة AI21 Studio Playground على الإجابة عن أسئلة المعرفة العامة.
تصنيف النصوص
عند استخدام التجميع، يمكن لنماذج اللغات الكبيرة (LLM) تصنيف النصوص التي تتشابه في المعاني أو المشاعر. وتشمل الاستخدامات قياس مشاعر العملاء، وتحديد العلاقة بين النصوص، والبحث عن المستندات.
إنشاء التعليمة البرمجية
يتميز نموذج اللغة الكبير (LLM) ببراعته في إنشاء التعليمة البرمجية من أوامر اللغات الطبيعية. ومن أمثلة ذلك Amazon CodeWhisperer ومخطوطة Open AI المستخدمة في GitHub Copilot ويمكنها إنشاء تعليمة برمجية بلغة Python وJavaScript وRuby والعديد من لغات البرمجة الأخرى. تتضمن تطبيقات إنشاء التعليمات البرمجية الأخرى إنشاء استعلامات SQL، وكتابة أوامر shell، وتصميم المواقع الإلكترونية.
إنشاء النصوص
على غرار إنشاء التعليمات البرمجية، يمكن لإنشاء النصوص إكمال جُمل غير مكتملة أو كتابة وثائق المنتج أو كتابة قصة قصيرة للأطفال، مثل Alexa Create.
كيف يمكن تدريب نماذج اللغات الكبيرة؟
تكون الشبكات العصبونية المستندة إلى المحولات كبيرة جدًا. وتحتوي هذه الشبكات على العديد من العُقد والطبقات. تكون لكل عقدة في الطبقة اتصالات بجميع العُقد في الطبقة التالية، ولكل منها وزن وتحيز. وتُعرف الأوزان وأوجه التحيز جنبًا إلى جنب مع عمليات التضمين بمعلمات النماذج. يمكن أن تحتوي الشبكات العصبونية المستندة إلى المحولات الكبيرة على المليارات والمليارات من المعلمات. ويُحدد حجم النموذج عمومًا من خلال علاقة تجريبية بين حجم النموذج وعدد المعلمات وحجم بيانات التدريب.
يتم التدريب باستخدام مجموعة كبيرة من البيانات عالية الجودة. وفي أثناء التدريب، يضبط النموذج قيم المعلمات بشكل متكرر حتى يتنبأ النموذج بشكل صحيح بالرمز المميز التالي من التسلسل السابق لرموز الإدخال المميزة. يحدث ذلك من خلال تقنيات التعلّم الذاتي التي تعلم النموذج ضبط المعلمات لزيادة احتمالية الرموز المميزة التالية في أمثلة التدريب.
بمجرد التدريب، يمكن أن تتكيف نماذج اللغات الكبيرة (LLM) بسهولة لإجراء مهام متعددة باستخدام مجموعات صغيرة نسبيًا من البيانات الخاضعة للإشراف، وهي عملية تُعرف باسم الضبط الدقيق.
توجد ثلاثة نماذج تعلّم شائعة:
- التعلّم بلا أمثلة تدريب: يمكن لنماذج اللغات الكبيرة (LLM) الأساسية الاستجابة لمجموعة كبيرة من الطلبات بدون تلقي تدريب واضح، وتكون غالبًا من خلال الأوامر، على الرغم من اختلاف دقة الإجابات.
- التعلّم بقليل من أمثلة التدريب: عند تقديم بعض أمثلة التدريب ذات الصلة، يتحسن أداء النموذج الأساسي بشكل كبير في هذا المجال المحدد.
- الضبط الدقيق: يُعد هذا امتدادًا لنموذج التعلم بالقليل من أمثلة التدريب حيث يدرب علماء البيانات نموذجًا أساسيًا لضبط معلماته باستخدام بيانات إضافية ذات صلة بالتطبيق المحدد.
ما مستقبل نماذج اللغات الكبيرة (LLM)؟
طرح نماذج لغات كبيرة، مثل ChatGPT وClaude 2 وLlama 2، يمكنها الإجابة عن الأسئلة وإنشاء نقاط نصية بشأن إمكانيات مثيرة في المستقبل. ويقترب أداء نماذج اللغات الكبيرة (LLM) ببطء، ولكن بخطوات ثابتة، من الأداء البشري. يدل النجاح الفوري الذي تحققه نماذج اللغات الكبيرة هذه على الاهتمام الشديد بنماذج اللغات الكبيرة من النوع الآلي التي تحاكي العقل البشري، وتتفوق عليه في بعض الحالات. نستعرض فيما يلي بعض الأفكار حول مستقبل نماذج اللغات الكبيرة.
زيادة الإمكانيات
على الرغم من أن هذه النماذج مثيرة للإعجاب، فإن مستوى التكنولوجيا الحالي ليس مثاليًا وتتضمن نماذج اللغات الكبيرة (LLM) أخطاءً. ومع ذلك، ستتمتع الإصدارات الأحدث بدقة أفضل وإمكانيات معززة حيث يتعلم المطورون كيفية تحسين أدائهم مع تقليل التحيز والتخلص من الإجابات الخاطئة.
التدريب السمعي والبصري
بينما يتولى المطورون تدريب معظم نماذج اللغات الكبيرة (LLM) باستخدام النصوص، بدأ بعضهم في تدريب النماذج باستخدام مدخلات من الفيديو والصوت. ويجب أن يؤدي نموذج التدريب هذا إلى تطوير النماذج بشكل أسرع وإتاحة إمكانيات جديدة من حيث استخدام نماذج اللغات الكبيرة للمركبات المستقلة.
تحويل مكان العمل
تُعد نماذج اللغات الكبيرة (LLM) أحد العوامل بالغة التأثير التي ستثير تغييرات جذرية على مكان العمل. ومن المرجح أن تقلل نماذج اللغات الكبيرة من المهام الرتيبة والمتكررة بالطريقة نفسها التي اتبعتها الروبوتات عند إجراء مهام التصنيع المتكررة. تتضمن الاحتمالات المهام الكتابية المتكررة، وروبوتات الدردشة في خدمة العملاء، وكتابة المحتوى الآلية البسيطة.
المحادثة مع الذكاء الاصطناعي
ستحسن نماذج اللغات الكبيرة (LLM) بلا شك أداء أجهزة المساعدة الافتراضية الآلية، مثل Alexa وGoogle Assistant وSiri. وستزيد قدرتها على تفسير نية المستخدم والاستجابة للأوامر المتطورة.
كيف يمكن لخدمات AWS المساعدة بشأن نماذج اللغات الكبيرة (LLM)؟
تقدم AWS العديد من الاحتمالات لمطوري نماذج اللغات الكبيرة. وتُعد خدمة Amazon Bedrock أسهل طريقة لإنشاء تطبيقات الذكاء الاصطناعي المولّد وتحجيمها باستخدام نماذج اللغات الكبيرة (LLM). Amazon Bedrock هي خدمة مُدارة بالكامل تتيح نماذج اللغات الكبيرة من Amazon والشركات الناشئة الرائدة في مجال الذكاء الاصطناعي (AI) من خلال واجهة برمجة التطبيقات (API) بحيث يمكنك الاختيار من مجموعة متنوعة من نماذج اللغات الكبيرة للعثور على النموذج الأنسب لحالة استخدامك.
Amazon SageMaker JumpStart هو مركز لتعلّم الآلة مزوّد بنماذج تأسيس وخوارزميات مدمجة وحلول تعلّم الآلة مسبقة الإعداد التي يمكنك نشرها ببضع نقرات. وعند استخدام SageMaker JumpStart، يمكنك الحصول على نماذج مسبقة التدريب وتشمل نماذج التأسيس لإجراء مهام مثل تلخيص المقالات وإنشاء الصور. وتكون النماذج مسبقة التدريب مخصصة بالكامل لحالة استخدامك مع بياناتك، ويمكنك نشرها بسهولة في مرحلة الإنتاج من خلال واجهة المستخدم أو مجموعة تطوير البرمجيات (SDK).
بادر باستخدام نماذج اللغات الكبيرة (LLM) والذكاء الاصطناعي (AI) على AWS من خلال إنشاء حساب مجاني اليوم.
الخطوات التالية على AWS
