ما المقصود بالنماذج التأسيسية؟

الميزة الفريدة لنماذج التأسيس هي قدرتها على التكيف. يمكن لهذه النماذج أداء مجموعة واسعة من المهام المتباينة بدرجة عالية من الدقة بناءً على مطالبات الإدخال. تتضمن بعض المهام معالجة اللغة الطبيعية (NLP) والإجابة عن الأسئلة وتصنيف الصور. إن الحجم وطبيعة الأغراض العامة لنماذج التأسيس (FM) يجعلانها مختلفة عن نماذج تعلم الآلة (ML) التقليدية التي تؤدي عادةً مهام محددة، مثل تحليل النص لاكتشاف المشاعر، وتصنيف الصور، والتنبؤ بالاتجاهات.

يمكنك استخدام نماذج التأسيس باعتبارها نماذج أساسية لتطوير المزيد من التطبيقات النهائية المتخصصة. هذه النماذج هي تتويج لأعمال استمرت لأكثر من عقد كامل زادت فيها حجمًا وتعقيدًا.

على سبيل المثال، تم إصدار BERT في عام 2018، وهو أحد نماذج التأسيس الأولى ثنائية الاتجاه. فقد دُرِّب باستخدام 340 مليون مَعْلمة ومجموعة بيانات تدريب حجمها 16 جيجابايت. في عام 2023، بعد خمس سنوات فحسب، دربت OpenAI النموذج GPT-4 باستخدام 170 تريليون مَعْلمة ومجموعة بيانات تدريب حجمها 45 جيجابايت. وفقًا لـ OpenAI، كانت تضاعفت القوة الحاسوبية المطلوبة لإنشاء نماذج التأسيس كل 3.4 أشهر منذ عام 2012. يمكن لنماذج التأسيس المتعارف عليها في يومنا الحاضر، مثل نموذجَي اللغة الكبيرين (LLM) Claude 2 وLlama 2، ونموذج تحويل النص إلى صورة Stable Diffusion المقدم من Stability AI، تنفيذ مجموعة من المهام الجاهزة التي تغطي مجالات متعددة، مثل كتابة منشورات المدونات، وإنشاء الصور، وحل مسائل الرياضيات، والتجاوب في الحوار، والإجابة عن الأسئلة بناءً على المستندات.

القراءة حول نماذج اللغة الكبيرة »

نماذج التأسيس هي شكل من أشكال الذكاء الاصطناعي المولّد (generative AI). فهي تنشئ مخرجات من واحد أو أكثر من المدخلات (المطالبات) في شكل توجيهات باللغة البشرية. تعتمد النماذج على الشبكات العصبونية المعقدة، بما في ذلك الشبكات التنافسية المولّدة (GAN) والمحولات وأدوات التشفير المتغيرة.

على الرغم من أن كل نوع من أنواع الشبكات يعمل بشكل مختلف، فإن المبادئ الأساسية وراء كيفية عملها متشابهة. بشكل عام، يستخدم نموذج التأسيس الأنماط والعلاقات المكتسبة للتنبؤ بالعنصر التالي في تسلسل معين. على سبيل المثال، عند إنشاء الصور، يحلل النموذج الصورة وينشئ نسخة أكثر وضوحًا ودقة منها. وبالمثل، مع النص، يتنبأ النموذج بالكلمة التالية في سلسلة نصية استنادًا إلى الكلمات السابقة وسياقها. ثم يختار الكلمة التالية باستخدام تقنيات توزيع الاحتمالات.

تستخدم نماذج التأسيس التعلم الخاضع للإشراف الذاتي لإنشاء تصنيفات من بيانات الإدخال. هذا يعني أنه لم يوجه أي شخص النموذج أو يدربه باستخدام مجموعات بيانات تدريب مصنفة. تفصل هذه الميزة نماذج اللغة الكبيرة عن هياكل تعلم الآلة السابقة التي تستخدم التعلم الخاضع للإشراف أو غير الخاضع للإشراف.

اقرأ عن تعلّم الآلة »

القراءة حول الذكاء الاصطناعي المولّد »

تشهد نماذج التأسيس زيادة في العدد والحجم في السوق بوتيرة سريعة. هناك الآن العشرات من النماذج المتاحة. فيما يلي قائمة بنماذج التأسيس البارزة الصادرة منذ عام 2018.

BERT

صدر نموذج "تمثيلات التشفير ثنائية الاتجاه من المحولات" (BERT) في عام 2018، وكان واحدًا من نماذج التأسيس الأولى. BERT هو نموذج ثنائي الاتجاه يحلل سياق تسلسل كامل ثم يطرح التنبؤات. دُرِّب هذا النموذج على مجموعة من النصوص العادية وويكيبيديا باستخدام 3,3 مليارات من الرموز المميزة (الكلمات) و340 مليون مَعْلمة. يمكن لنموذج BERT الإجابة عن الأسئلة والتنبؤ بالجمل وترجمة النصوص.

GPT

طورت OpenAI نموذج المحول المولّد المدرب مسبقًا (GPT) في عام 2018. وهو يستخدم وحدة فك ترميز محولات مكونة من 12 طبقة مزودة بآلية الانتباه الذاتي. وقد دُرِّب النموذج على مجموعة بيانات BookCorpus، التي تحتوي على أكثر من 11 ألف رواية مجانية. من ضمن الميزات البارزة لـ GPT-1 هي القدرة على التعلم بدون معرفة مسبقة.

صدر GPT-2 في عام 2019. دربت OpenAI هذا النموذج باستخدام 1,5 مليار مَعْلمة (مقارنة بـ 117 مليون مَعْلمة مستخدمة في GPT-1). يحتوي GPT-3 على شبكة عصبونية من 96 طبقة و175 مليار مَعْلمة، ويتدرب باستخدام مجموعة بيانات Common Crawl المكونة من 500 مليار كلمة. يعتمد روبوت الدردشة ChatGPT الشهير على النموذج GPT-3.5. وأُطلق أحدث إصدار من GPT-4 في أواخر عام 2022 واجتاز بنجاح امتحان المحاماة الموحد بنتيجة 297 (76%).

قراءة المزيد حول GPT »

Amazon Titan

خضعت نماذج تأسيس Amazon Titan لتدريب مسبق على مجموعات بيانات كبيرة، ما يجعلها نماذج قوية للأغراض العامة. ويمكن استخدامها كما هي أو تخصيصها بشكل خاص باستخدام البيانات الخاصة بالشركة لمهمة معينة بدون إضافة تعليقات توضيحية لكميات كبيرة من البيانات. في البداية، سيقدم Titan نموذجين. الأول هو نموذج لغة كبير مولّد لمهام مثل التلخيص وإنشاء النصوص والتصنيف والأسئلة والأجوبة المفتوحة واستخراج المعلومات. والثاني هو نموذج لغة كبير تضميني يترجم مدخلات النصوص، بما في ذلك الكلمات والعبارات والوحدات الكبيرة من النص، إلى تمثيلات رقمية (تُعرف باسم التضمينات) تحوي المعنى الدلالي للنص. على الرغم من أن نموذج اللغة الكبير هذا لن ينشيء نصًا، فإنه مفيد لتطبيقات مثل التخصيص والبحث، لأنه من خلال مقارنة التضمينات سينتج النموذج استجابات وثيقة الصلة وسياقية بشكل أكبر من مجرد مطابقة الكلمات. لمواصلة دعم أفضل الممارسات في الاستخدام المسؤول للذكاء الاصطناعي، صُممت نماذج تأسيس Titan لاكتشاف المحتوى الضار في البيانات وإزالته، ورفض المحتوى غير اللائق في مدخلات المستخدم، وتصفية مخرجات النماذج التي تحتوي على محتوى غير لائق، مثل خطاب الكراهية والألفاظ النابية والعنف.

AI21 Jurassic

صدر Jurassic-1 في عام 2021، وهو نموذج لغة قائم على الانحدار الذاتي مكون من 76 طبقة مع 178 مليار مَعْلمة. ينشئ Jurassic-1 نصوصًا شبيهة بالنصوص التي يصنعها الإنسان ويحل المهام المعقدة. وأداؤه مشابه لـ GPT-3.

في مارس 2023، أصدرت AI21 Labs النموذج Jurrassic-2 الذي يتمتع بقدرات محسنة في اللغة واتباع التعليمات.

Claude

Claude 2 هو أحدث نموذج تمتلكه شركة Anthropic ويتفوق في الحوار وإنشاء المحتوى والتفكير المعقد والإبداع والترميز، وهو مُصمم بأسلوب الذكاء الاصطناعي المقنن (Constitutional AI). يمكن للنموذج Claude 2 استيعاب ما يصل إلى 100 ألف رمز مميز في كل مطالبة، ما يعني قدرته على معالجة مئات الصفحات من النصوص أو حتى كتاب كامل. يمكن للنموذج Claude 2 أيضًا كتابة مستندات أطول - مثل المذكرات والقصص البالغ عدد رموزها المميزة قرابة بضعة آلاف - مقارنةً بإصداره السابق.

Cohere

صممت شركة Cohere اثنين من نماذج اللغة الكبيرة: أحدهما نموذج مولّد يتمتع بقدرات مماثلة لـ GPT-3 والآخر نموذج تمثيلي مخصص لفهم اللغات. في حين أن Cohere لديها 52 مليار مَعْلمة فحسب، فإنها تتفوق على GPT-3 في العديد من الجوانب.

Stable Diffusion

Stable Diffusion هو نموذج تحويل النص إلى صورة يمكنه إنشاء صور واقعية المنظر وعالية الدقة. وقد صدر في عام 2022 ويتضمن نموذج نشر يستخدم تقنيات التشويش وتقليل التشويش لتعلم كيفية إنشاء الصور.

هذا النموذج أصغر حجمًا من تقنيات الانتشار المنافسة، مثل DALL-E 2، ما يعني أنه لا يحتاج إلى بنية تحتية موسعة للحوسبة. يمكن تشغيل Stable Diffusion على بطاقة رسومات عادية أو حتى على هاتف ذكي من خلال منصة Snapdragon Gen2.

اقرأ المزيد عن Stable Diffusion »

BLOOM

BLOOM هو نموذج متعدد اللغات بهيكلة مشابهة لـ GPT-3. طُور في عام 2022 ضمن الجهود التعاونية التي ضمت أكثر من ألف عالم وفريق منصة Hugging Space. يتضمن النموذج 176 مليار مَعْلمة واستغرق التدريب ثلاثة أشهر ونصفًا باستخدام وحدات معالجة رسومات (GPU) من النوع ‎384 Nvidia A100. على الرغم من أن BLOOM Checkpoint تتطلب 330 جيجابايت من التخزين، فإنه يمكن تشغيلها على جهاز كمبيوتر شخصي مستقل مُزود بـ 16 جيجابايت من ذاكرة الوصول العشوائي. يمكن لـ BLOOM إنشاء نص بـ 46 لغة وكتابة التعليمات البرمجية بـ 13 لغة برمجة.

Hugging Face

Hugging Face هي عبارة عن منصة تقدم لك أدوات مفتوحة المصدر لإنشاء نماذج تعلم الآلة ونشرها. تُعد هذه المنصة مركزًا مجتمعيًا حيث يمكن للمطورين مشاركة النماذج ومجموعات البيانات واستكشافها. تتوفر العضوية المجانية للأفراد، ولكن توفر الاشتراكات المدفوعة مستويات أعلى من إمكانيات الوصول. لديك إمكانية وصول عام إلى ما يقرب من 200 ألف نموذج و30 ألف مجموعة بيانات.

تُعد Amazon Bedrock أسهل طريقة لإنشاء تطبيقات الذكاء الاصطناعي المولّد وتوسيع نطاقها باستخدام نماذج التأسيس. Amazon Bedrock هي خدمة مُدارة بالكامل تجعل نماذج التأسيس المقدمة من Amazon والشركات الناشئة الرائدة في مجال الذكاء الاصطناعي متاحة من خلال واجهة برمجة تطبيقات (API)، بحيث يمكنك الاختيار من بين العديد من نماذج التأسيس للعثور على النموذج الأنسب لحالة استخدامك. باستخدام Bedrock، يمكنك تسريع تطوير تطبيقات الذكاء الاصطناعي المولّد القابلة للتوسع والجديرة بالثقة والآمنة ونشرها بدون إدارة البنية التحتية.

يوفر Amazon SageMaker JumpStart، وهو مركز تعلم آلة يقدم النماذج والخوارزميات والحلول، إمكانية الوصول إلى مئات من نماذج التأسيس، بما في ذلك نماذج التأسيس الأفضل أداءً المتاحة للجمهور. تستمر إضافة نماذج تأسيس جديدة، بما في ذلك Llama 2، وFalcon، وStable Diffusion XL 1.0.