مرجع
آخر الزيارات

نموذج لغوي كبير

5٬388 كلمة•0 مشاهدة•🗒️ منذ يوم
باختصار: نموذجُ اللّغةِ الكبيرُ (بالانجليزي: Large Language Model-) هو نموذجٌ حسابيٌّ قادرٌ على توليدِ اللّغةِ أو مهامّ مُعالجةِ اللّغةِ الطّبيعيةِ الأخرى. تجد هنا «ضبط التعليمات»، «استخدام الأدوات» و«مجموعات البيانات والمعايير الخاصة بالمهام» ضمن 30 قسماً.
المحتويات
  1. ضبط التعليمات
  2. استخدام الأدوات
  3. مجموعات البيانات والمعايير الخاصة بالمهام
  4. الضغط
  5. تنظيف مجموعة البيانات
  6. التحيّز السّياسيّ
  7. التجزئة
  8. التنميط
  9. بتات لكل كلمة أو حرف أو رمز
  10. قراءة متعمقة
  11. التحيّز الخوارزمي
  12. خليط الخبراء
  13. الفهم والذكاء
  14. المشاكل
  15. التدريب والبنية
  16. الحفظ وحقوق النشر
  17. البنية التحتية
  18. هندسة المطالبات وآلية الانتباه ونافذة السّياق
  19. التقييمات المُصمّمة خصيصًا
  20. تكلفة التدريب
  21. الوكلاء
  22. الخصائص
  23. الأمان
  24. الحيرة
  25. تاريخ
  26. التأثير الأوسع
  27. البيانات الاصطناعية
  28. الوسائط المتعددة
  29. ترميز زوج البايتات
  30. التفسير

في البداية، نموذجُ اللّغةِ الكبيرُ (بالانجليزي: Large Language Model-) هو نموذجٌ حسابيٌّ قادرٌ على توليدِ اللّغةِ أو مهامّ مُعالجةِ اللّغةِ الطّبيعيةِ الأخرى. بصفتها نماذجَ لُغوية. تكتسبُ نماذجُ اللّغةِ الكبيرةُ هذهِ القدراتِ من خلالِ تعلّمِ العلاقاتِ الإحصائيةِ من كمياتٍ هائلةٍ منَ النّصوصِ أثناءَ عمليةِ تدريبٍ ذاتيّةِ الإشرافِ وشبهِ مُراقبة. وتستهلك هذه النماذج موارد حسابية كبيرة أثناء التدريب والتشغيل. وفيما يلي تفاصيل أوسع عن ذلك.

من جهة ثانية، حتى عام 2020 كان الضبط الدقيق أو الصقل هو الطريقة الوحيدة التي يمكن من خلالها تكييف النموذج ليكون قادرًا على إنجاز مهام محددة. ومع ذلك يمكن تصميم النماذج الأكبر حجمًا، مثل جي بي تي-3، لتحقيق نتائج مماثلة. يُعتقد أنهم يكتسبون معرفة مضمنة حول بناء الجملة وعلم الدلالات و«علم الوجود» المتأصل في مجاميع اللغة البشرية، ولكن يكسبها ايضا عدم الدقة والتحيزات الموجودة في مجاميع اللغة البشرية كذلك.

إضافةً إلى ذلك، أكبرُ نماذجِ اللّغةِ الكبيرةِ وأكثرُها قدرةً، اعتبارًا من أغسطس 2024، هي الشبكاتٌ العصبيةٌ الاصطناعيةٌ والتي مبنيةٌ بِبنيةٍ قائمةٍ على المُحوّلِ الخاصّ بِفكّ التشفيرِ فقط، ممّا يُتيحُ مُعالجةً فعّالةً وتوليدَ بياناتٍ نصيةٍ واسعةِ النّطاق. يُمكنُ ضبط أو صقل النماذجِ الحديثةِ لِمهامّ مُحدّدةٍ أو يُمكنُ توجيهُها بواسطةِ هندسةِ المُطالبات. تكتسبُ هذهِ النماذجُ قوّةً تنبّؤيةً فيما يتعلّقُ بِالنّحوِ والدّلالاتِ وعلمِ الوجود المُتأصّلِ في مجموعاتِ اللّغةِ البشرية، لكنّها ترثُ كذلك عدمَ الدّقةِ والانحيازاتِ الموجودةِ في البياناتِ التي جرى تدريبُها عليها.

ضبط التعليمات

وفي هذا الصدد، بفضل أساليب "التعلّم الذاتي"، استطاعت النماذج اللغوية الضخمة أن تستنبط ردودًا صحيحة، مستبدلةً أي ردود سطحية، انطلاقًا من تصحيحات بشرية محدودة. فمثلًا، إذا كانت التعليمات "اكتب مقالًا عن القضايا المحورية في مسرحية هاملت"، فإن الإكمال السطحي الأولي قد يكون "إذا قدمت المقال بعد السابع عشر من مارس، فستُخصم من درجاتك عشرة بالمائة عن كل يوم تأخير"، وذلك استنادًا إلى تكرار هذا النمط اللغوي في البيانات التدريبية.

استخدام الأدوات

في هذا الإطار، يجب ضبط النموذج عمومًا ليتمكن من استخدام الأدوات. فإذا كان عدد الأدوات محدودًا، يكفي ضبطه مرة واحدة. أما إذا كان عددها متزايدًا بشكل تعسفي، كما هو الحال مع خدمات واجهات برمجة التطبيقات عبر الإنترنت، فيجب تجهيز النموذج بقراءة وثائق هذه الواجهات واستدعائها بصورة صحيحة.

ومن جهة أخرى، ثمة مهامّ محددة لا يُمكن لأي نموذج لغة كبير حلها مبدئيًا، على الأقل ليس دون الاستعانة بأدوات خارجية أو برامج إضافية. ومن الأمثلة على ذلك الاستجابة إلى مدخل المستعمل "354 * 139 ="، شريطة ألا يكون النموذج قد واجه هذا الحساب سابقًا في مجموعة تدريبه. في مثل هذه الحالات، يتعين على النموذج اللجوء إلى تشغيل رمز برمجي يحسب النتيجة، ثم إدماجها في استجابته. مثال آخر هو "ما الوقت الآن؟"، حيث يحتاج مفسر برمجي منفصل إلى تنفيذ رمز للحصول على وقت النظام على الحاسوب، كي يتمكن النموذج من تضمينه في رده. يمكن تطوير هذه الإستراتيجية الأساسية بتجريب برامج مولدة متعددة واستراتيجيات تعيين أخرى.

علاوةً على ذلك، أبسط شكل لاستخدام الأدوات هو التوليد المعزز بالاسترجاع: أي تعزيز النموذج باسترجاع المستندات. فبناءً على استعلام معين، يُستدعى مسترجع مستندات للحصول على المستندات الأكثر صلة. يجري ذلك عادة بتشفير الاستعلام والمستندات إلى متجهات، ثم البحث عن المستندات التي تتشابه متجهاتها (المخزنة عادةً في قاعدة بيانات متجهات) مع متجه الاستعلام. ثم يولد النموذج الناتج استنادًا إلى الاستعلام والسياق المستمد من المستندات المسترجعة.

مجموعات البيانات والمعايير الخاصة بالمهام

ومن ناحية أخرى، طُوِّرت كذلك مقاييس أداء مركبة تجمع بين مجموعة متنوعة من مجموعات البيانات والمهام التقييمية المختلفة. من الأمثلة عليها: جلو، وسوبر جلو وبيج-بنش. أصدرت شركة أوبن أيه آي أدوات لتشغيل مقاييس الأداء المركبة، لكنها لاحظت أن نتائج التقييم حساسة لطريقة صياغة المطالبة. تحتوي بعض مجموعات البيانات العامة على أسئلة خاطئة أو غامضة أو لا يمكن الإجابة عليها أو ذات جودة منخفضة، ويمكن تنظيفها للحصول على نتائج أداء أكثر موثوقية.

وعلى صعيد آخر، كان من المعتاد سابقًا الإبلاغ عن النتائج على جزء مؤجل من مجموعة البيانات التقييمية بعد إجراء ضبط دقيق مراقب على الباقي. أصبح من الشائع الآن تقييم نموذج مدرب مسبقًا مباشرة من خلال تقنيات المطالبة، رغم اختلاف الباحثين في تفاصيل صياغة المطالبات لمهام معينة، لا سيما فيما يتعلق بعدد أمثلة المهام التي تُضمن في المطالبة (أي قيمة n في مطالبة اللقطات n).

إضافةً إلى ذلك، قد تأخذ مجموعات البيانات التقييمية شكل إكمال النص، حيث يُطلب من النموذج اختيار الكلمة أو الجملة الأنسب لإكمال عبارة ما، مثل: "كانت فاطمة صديقة لسارة. ذهبت فاطمة لزيارة صديقتها، ____".

من جهة ثانية، طُوِّرَتْ في المراحل اللاحقة مجموعات بيانات عديدة ومقاييس اختبار لتقييم قدرات نماذج اللغات في مهام أكثر تحديدًا. صُمِّمت هذه الاختبارات لتقييم مجموعة واسعة من القدرات، بما في ذلك المعرفة العامة والتفكير المنطقي وحل المسائل الرياضية.

علاوةً على ذلك، إحدى الفئات الشائعة لمجموعات البيانات التقييمية هي مجموعات بيانات الإجابة على الأسئلة، التي تتكون من أزواج من الأسئلة وإجاباتها الصحيحة، مثل: "هل فاز منتخب اليمن بكأس العالم لكرة القدم؟" - "لا". تُعتبر مهمة الإجابة على الأسئلة "مفتوحة" إذا تضمنت مطالبة النموذج بنص يمكن استخلاص الإجابة المتوقعة منه (مثل: يمكن إضافة السؤال السابق إلى نص يتضمن الجملة "تقدّم منتخب اليمن إلى نهائيات كأس العالم مرة واحدة وخسر أمام منتخب السعودية في عام 2016"). أما إذا كان على النموذج الاعتماد على المعرفة التي اكتسبها خلال التدريب، فتُعتبر المهمة "مغلقة".

الضغط

كذلك، في حين أنّ النماذج المكمّمة عادةً ما تكون مجمّدة، وتضبط النماذج المكمّمة مسبقًا فقط، لا يزال من الممكن ضبط النماذج المكمّمة.

وعلى صعيد آخر، تُدرب عادةً نماذج اللّغة الكبيرة (LLMs) باستخدام أعداد عشرية ذات دقة مفردة أو نصف دقة (float32 وfloat16). يحتوي رقم float16 على 16 بت، أو 2 بايت، وبالتالي فإن مليار معامل يتطلبان 2 جيجا بايت. وتحتاج النماذج الأكبر حجمًا، والتي تحتوي عادةً على 100 مليار معامل، إلى 200 جيجا بايت لتحميلها، مما يجعلها خارج نطاق أغلب الأجهزة الإلكترونية الاستهلاكية.

في هذا الإطار، يهدف "التكميم بعد التدريب" إلى تقليل مساحة التخزين عن طريق خفض دقة معاملات النموذج المدرب، مع الحفاظ على أغلب أدائه. أبسط أشكال التكميم هو ببساطة تقريب جميع الأعداد إلى عدد معين من البتات. ويمكن تحسينه باستخدام مجموعة ترميز تكميم مختلفة لكل طبقة. ويمكن إجراء تحسين إضافي من خلال تطبيق دقّات مختلفة لمعاملات مختلفة، مع دقة أعلى للمعاملات المهمة خاصة ("أوزان شاذة").

تنظيف مجموعة البيانات

ومن ناحية أخرى، في سياق تدريب نماذج اللغات الكبيرة، يُعتاد تنقية مجموعات البيانات بإزالة المقاطع الضارة منها، والتخلص من البيانات ذات الجودة المتدنية، وإزالة التكرارات. إن مجموعات البيانات المنقاة هذه تزيد من كفاءة التدريب وتؤدي إلى تحسين الأداء في المراحل اللاحقة. ويمكن الاستعانة بنموذج لغة كبيرة مدرب لتنقية مجموعات البيانات المستعملة في تدريب نموذج لغة كبير آخر.

وعلى صعيد آخر، مع تزايد المحتوى الذي تولده نماذج اللغات الكبيرة على الشبكة العنكبوتية، قد يشمل تنقية البيانات مستقبلًا تصفية هذا المحتوى. ويشكل المحتوى المولَّد آليًا تحديًا خاصًا، إذ يصعب تمييزه عن النصوص البشرية، ولكنه يقلل من جودة النماذج المدربة عليه.

التحيّز السّياسيّ

  • انظر كذلك
  • قائمة النماذج اللغوية الكبيرة
  • نموذج أساسي

في هذا الإطار، التحيز السياسي يشير إلى ميل الخوارزميات إلى تفضيل وجهات نظر أو أيديولوجيات أو نتائج سياسية معينة على أخرى بشكل منهجي. قد تظهر نماذج اللغة كذلك تحيزات سياسية. نظرًا لأن بيانات التدريب تتضمن مجموعة واسعة من الآراء والتغطية السياسية، فقد تولد النماذج استجابات تميل إلى أيديولوجيات أو وجهات نظر سياسية معينة، اعتمادًا على انتشار تلك الآراء في البيانات.

التجزئة

إضافةً إلى ذلك، بما أن خوارزميات التعلم الآلي تعتمد على المعالجة الرقمية للمعلومات، فإنه من الضروري تحويل النصوص إلى تمثيل رقمي. تجري هذه العملية من خلال عدة خطوات:

  • أولًا، تُحدد مجموعة من المفردات اللغوية.
  • ثانياً يُعيّن لكل مفردة رمز رقمي فريد.
  • ثالثاً يرتبط هذا الرمز بتضمين رقمي يحمل معنى دلالي للمفردة.

وفي السياق ذاته، من أشهر الخوارزميات المستعملة في هذه العملية ترميز زوج البايتات (BPE) وخوارزمية WordPiece. فضلًا عن ذلك، تُستعمل نماذج اللغة رموزًا خاصة لأغراض التحكم، مثل رمز [MASK] الذي يستعمل في نماذج مثل تمثيلات التشفير الثنائي الاتجاه من المحولات (BERT) لتمثيل الكلمات المحذوفة، ورمز [UNK] لتمثيل الكلمات غير المعروفة. كما تستعمل بعض النماذج رموزًا خاصة لتمثيل جوانب شكلية للنص، مثل الرمز "Ġ" الذي يشير إلى مسافة بيضاء سابقة في نموذج جي بي تي، والرمز "##" الذي يشير إلى استمرار جزء من كلمة في نموذج "بيرت".

علاوةً على ذلك، تساهم عملية التجزئة كذلك في ضغط البيانات. نظرًا لضرورة أن تكون مدخلات نماذج اللغة الكبيرة مصفوفات ذات أبعاد متساوية، فإن النصوص الأقصر تُعبأ لتتطابق أطوالها مع أطول نص في المجموعة. يعتمد متوسط عدد الرموز الرقمية اللازمة لتمثيل كل كلمة على طبيعة اللغة المستعملة في مجموعة البيانات.

التنميط

ومن جهة أخرى، تستطيع أنظمة الذكاء الاصطناعي أن تعزز طائفة واسعة من الصور النمطية، بما في ذلك تلك المرتبطة بالجنس، أو العرق، أو السن، أو الجنسية، أو الدين، أو المهنة. وقد يؤدي هذا إلى نتائج تمييزية بحق فئات معينة من البشر، بطرق قد تكون مسيئة أو مهينة. ومن الجدير بالذكر أن التحيز الجنسي هو ميل هذه الأنظمة إلى إنتاج نتائج تميل ميلًا غير عادل لصالح جنس على آخر. وغالبًا ما ينشأ هذا التحيز من البيانات التي تُدرب هذه الأنظمة عليها. فنموذج اللغة الكبيرة، مثلًا، قد يربط بين الممرضات والسكرتيرات وبين النساء، وبين المهندسين والرؤساء التنفيذيين وبين الرجال، وذلك استنادًا إلى الأعراف الجندرية السائدة.

بتات لكل كلمة أو حرف أو رمز

من جانب آخر، عند تقييم ومقارنة نماذج اللغة يُفضل عادة استخدام الإنتروبيا المتقاطعة بدلًا من الإنتروبيا المطلقة. الفكرة الأساسية هي أن قيمة BPW الأقل تشير إلى قدرة أفضل للنموذج على الضغط، مما يعكس بدوره كفاءة النموذج في إجراء تنبؤات دقيقة.

ومن جهة أخرى، في نظرية المعلومات، ترتبط صفة الإنتروبيا ارتباطًا وثيقًا بمفهوم الغموض، وهو ارتباط أسسه بوضوح كلود شانون. تُعبَّر هذه العلاقة رياضيًا على النحو التالي: الإنتروبيا = لو2 (الغموض).

علاوةً على ذلك، تقاس الإنتروبيا، في هذا السياق، عادة بوحدات البتات لكل كلمة (BPW) أو البتات لكل حرف (BPC)، وذلك تبعًا لاختيار نموذج اللغة لتجزئة النص إلى كلمات أو أحرف.

ومن ناحية أخرى، جدير بالذكر أنه في نماذج اللغة الكبيرة التي تعتمد غالبًا على تجزئة الكلمات إلى أجزاء أصغر، يبدو أن البتات لكل رمز مميز (BPT) مقياسًا أنسب. ومع ذلك نظرًا للاختلاف في أساليب التجزئة بين نماذج اللغة الكبيرة، فإن مقياس BPT ليس موثوقًا به للمقارنة بين نماذج مختلفة. لتحويل BPT إلى BPW، يمكن ضرب القيمة الأولى في متوسط عدد الرموز المميزة لكل كلمة.

قراءة متعمقة

من جانب آخر، Jurafsky, Dan, Martin, James. H. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, 3rd Edition draft, 2023.

ملاحظات

التحيّز الخوارزمي

من جانب آخر، رغم ما أظهرته نماذج اللغات الكبيرة من قدرة فائقة على توليد نصوص شبيهة بالنصوص البشرية، إلا أنها معرضة للإصابة بتحيزات مستمدة من بيانات تدريبها، بل وتضخيمها. وقد يظهر ذلك جليًا في صور نمطية مشوهة أو معاملة مجحفة لفئات ديموغرافية مختلفة، كالأعراق والأجناس واللغات والمجموعات الثقافية. ونظرًا لسيطرة البيانات الإنجليزية على غالبية بيانات تدريب هذه النماذج، فإنها قد تستصغر بالتالي وجهات النظر التي لا تتحدث الإنجليزية.

خليط الخبراء

إضافةً إلى ذلك، إن تدريب واستخدام النماذج اللغوية الكبيرة التي تضم مليارات المعامل قد يكون مكلفًا للغاية. وللتغلب على هذه التحدي، استعمل الباحثون في غوغل تقنية مزيج الخبراء (MoE) التي تسمح بتدريب نماذج أكبر بكثير، تصل إلى تريليون معامل، وذلك من خلال توزيع الحسابات على عدة نماذج أصغر تعمل معًا.

الفهم والذكاء

كذلك، تتضمن مسألة محاكاة الذكاء أو الفهم البشري بواسطة نماذج اللغة الكبيرة وجهين رئيسيين: الأول يكمن في كيفية تمثيل الفكر واللغة ضمن نظام حاسوبي، والثاني يتمثل في تمكين هذا النظام من توليد لغة شبيهة باللغة البشرية. وقد تطورت هذه الجوانب اللغوية كنموذج للإدراك في حقل اللغويات الإدراكية. وقد قدم اللغوي الأمريكي جورج لاكوف نظرية الأعصاب اللغوية (NTL) كأساس حسابي لاستخدام اللغة كنموذج لمهام التعلم والفهم. وتلخص هذه النظرية كيف تشكل البنى العصبية المحددة في الدماغ البشري طبيعة الفكر واللغة، وبالتالي ما هي الخصائص الحسابية لهذه الأنظمة العصبية التي يمكن تطبيقها لنمذجة الفكر واللغة في نظام حاسوبي.

التقييم

وفي هذا السياق، على النقيض من ذلك يزعم أصحاب المدرسة التي تنفي فهم النماذج اللغوية الكبيرة أن هذه النماذج "لا تفعل سوى خلط ودمج النصوص الموجودة"، وهي ظاهرة تعرف بالببغاء العشوائي، أو يشيرون إلى العجز المستمر لهذه النماذج في مهارات التنبؤ والتفكير والإرادة والتفسير. فمثلًا، يعاني نموذج جي بي تي-4 من قصور جلي في التخطيط والتعلم الفوري. وقد لوحظ أن النماذج اللغوية التوليدية تؤكد بثقة على ادعاءات حقائقية لا يبدو أنها مدعومةببيانات تدريبها، وهي ظاهرة عرفت بالهلوسة. وبالتحديد، تتجلى الهلوسة في سياق هذه النماذج في توليد نصوص أو استجابات نحوية سلسة وطبيعية ولكنها خاطئة واقعيًا أو غير منطقية أو غير موثوقة بالنسبة للمعلومات المدخلة. وقد جادل عالم الأعصاب تيرينس سيجنوفسكي بأن "اختلاف آراء الخبراء حول ذكاء النماذج اللغوية الكبيرة يشير إلى أن مفاهيمنا التقليدية عن الذكاء الطبيعي غير كافية".

من جانب آخر، انقسم الباحثون المتخصصون في معالجة اللغة الطبيعية انقسامًا تامًا عندما سُئلوا، في استطلاع رأي أُجري عام 2022، عما إذا كانت نماذج اللغة الكبيرة غير المدربة قادرة على فهم اللغة الطبيعية فهمًا حقيقيًا ومعمقاً. يرى مؤيدو فكرة قدرة هذه النماذج على الفهم أن بعض قدراتها، مثل القدرة على التفكير الرياضي، تشير إلى وجود فهم حقيقي للمفاهيم. وقد ذهب فريق من شركة مايكروسوفت في عام 2023 إلى أبعد من ذلك، مدعيًا أن نموذج جي بي تي-4 قادر على حل مسائل جديدة ومعقدة في مجالات متنوعة كالرياضيات، والتشفير، والرؤية، والطب، والقانون، وعلم النفس وغيرها، واصفين إياه بأنه نسخة أولية، وإن كانت غير كاملة، لذكاء اصطناعي عام. وقد تساءلوا: "هل يمكننا إنكار ذكاء نظامٍ قادر على اجتياز اختبارات مبرمجي الكمبيوتر؟"

إضافةً إلى ذلك، يصف بعض الباحثين هذه النماذج بأنها تمثل نوعًا من "الذكاء الغريب". فمثلًا، يرى كونور ليحي، الرئيس التنفيذي لشركة كونجكتشر، أن هذه النماذج تشبه الكائنات الغريبة والغامضة، وأن عملية التدريب المعروفة بـ RLHF تخلق واجهة ودودة تخفي العمليات الداخلية المعقدة لهذه النماذج. ويشبه الأمر قناعًا مبتسمًا يختفي خلفه عمق من الجنون والتفكير الغريب الذي يختلف جذريًا عن التفكير البشري.

من جانب آخر، وبعد تأسيس إطار عمل لنمذجة اللغة في أنظمة الحاسوب، تحول الاهتمام إلى بناء أطر عمل تتيح لهذه الأنظمة توليد لغة تتبع قواعد نحوية مقبولة. وفي كتابه الصادر عام 2014 بعنوان "أسطورة اللغة: لماذا اللغة ليست غريزة" ، رسم اللغوي الإدراكي البريطاني وخبير تكنولوجيا الاتصالات الرقمية فيفيان إيفانز دور القواعد النحوية الاحتمالية الخالية من السياق (PCFG) في تمكين معالجة اللغات الطبيعية من محاكاة الأنماط الإدراكية وتوليد لغة شبيهة باللغة البشرية.

المشاكل

ومن ناحية أخرى، تعتمد المفردات من الرموز المميزة القائمة على التكرارات المستخرجة أساسًا من مجموعات اللغة الإنجليزية على أقل عدد ممكن من الرموز المميزة لكلمة إنجليزية متوسطة. ومع ذلك، عند تشفير كلمة متوسطة بلغة أخرى، فإن مجزئ اللغة الإنجليزية المحسن يقسمها إلى عدد غير مثالي من الرموز المميزة. وقد يصل عدد الرموز المميزة التي يستعملها مجزئ جي بي تي-2 لكلمة واحدة في بعض اللغات، كالشأنية، إلى خمسة عشر ضعفًا. وحتى اللغات الأكثر انتشارًا كالبرتغالية والألمانية تتطلب زيادة بنسبة خمسين بالمئة في عدد الرموز المميزة مقارنة باللغة الإنجليزية.

وتتسبب هذه التجزئة المفرطة في مشكلات طفيفة عند إكمال النص.

التدريب والبنية

التعلّم المعزّز من ردود الفعل البشرية (RLHF)

كذلك، تعتمد تقنية التعلم المعزز من ردود الفعل البشرية (RLHF) على تعزيز تعلم النموذج من خلال ملاحظات بشرية مباشرة، حيث تُستعمل خوارزميات متقدمة كتقريب تحسين السياسة لتحسين أداء النموذج تدريجيًا. يجري ذلك من خلال تدريب النموذج على مجموعة بيانات واسعة من التفضيلات البشرية، مما يساهم في تطوير نموذج أكثر توائمًا مع احتياجات المستعملين.

الحفظ وحقوق النشر

في هذا الإطار، الحفظ هو سلوك ناشئ في نماذج اللّغة الكبيرة حيث تخرج سلاسل نصية طويلة أحيانًا حرفيًا من بيانات التّدريب، على عكس السّلوك النموذجيّ للشّبكات العصبية الاصطناعية التّقليدية. تقيس تقييمات مخرجات نموذج اللّغة الكبيرة المتحكّم فيها كمية ما جرى حفظه من بيانات التّدريب (مع التركيز على نماذج سلسلة جي بي تي-2) بشكل مختلف بأكثر من 1% للنسخ المكرّرة تمامًا، أو ما يصل إلى نحو 7%.

البنية التحتية

يتطلب تدريب النماذج الأكبر حجماً بنية تحتية ضخمة.

هندسة المطالبات وآلية الانتباه ونافذة السّياق

إضافةً إلى ذلك، إن قدرة النموذج اللغوي على استيعاب سياق المحادثة وتذكره محدودة بطول نافذة السياق. فإذا تجاوز طول الحوار هذه النافذة، كما هو الحال في محادثات طويلة مع نماذج مثل شات جي بي تي، فإن النموذج إما سيقتصر على الجزء الأخير من الحوار الموجود داخل النافذة عند توليد الرد، أو سيضطر إلى اللجوء إلى خوارزميات تلخيص لتلخيص الأجزاء البعيدة من الحوار. ومن الجدير بالذكر أن توسيع نافذة السياق ينطوي على تكاليف حسابية أكبر، وقد يؤدي إلى تشتيت انتباه النموذج عن السياق المباشر. من ناحية أخرى، فإن تضييق هذه النافذة قد يجعل النموذج عاجزًا عن فهم العلاقات المعقدة التي تمتد على مسافات طويلة داخل الحوار. لذا، فإن تحديد الحجم الأمثل لنافذة السياق يتطلب توازنًا دقيقًا، ويعتمد على عوامل عدة تتعلق بالمجال التطبيقي والخصائص التقنية للنموذج.

وفي هذا الصدد، يمكن تحقيق غالبية النتائج التي كانت تُتحقَّق سابقًا، والتي كانت تتطلب ضبطًا دقيقًا ومكلفًا، عن طريق هندسة المطالبات أو التلقين، إلا أن هذه الطريقة تقتصر على نطاق محادثة محدد (أو بشكل أدق، على نطاق نافذة السياق).

من جانب آخر، لتحديد الرموز المترابطة ضمن نافذة السياق، تقوم آلية الانتباه بحساب أوزان "ناعمة" لكل رمز، وذلك لتحديد أهميته. تستعمل هذه الآلية رؤوس انتباه متعددة، ولكل منها "صلة" خاصة بها لحساب هذه الأوزان. مثلًا، يحتوي النموذج الصغير من جي بي تي-2 (117 مليون معامل) على 12 رأس انتباه ونافذة سياق تتسع لـ 1000 رمز. أما النموذج المتوسط فيحتوي على 345 مليون معامل و24 طبقة، ولكل طبقة 12 رأس انتباه. وقد استُخدمت دفعات تدريبية حجمها 512 مع خوارزمية الانحدار التدريجي.

ومن ناحية أخرى، نماذج توليدية: حيث تولد هذه النماذج تسلسلات لغوية جديدة بناءً على المدخلات المقدمة إليها، شبيهة بعمل المحولات المولدة مسبقة التدريب. فمثلًا، إذا قدمنا للنموذج الجملة "أحب أن آكل"، فإنه قد يكملها بقوله "تفاحة" أو "برتقالة".

في هذا الإطار، يمكن تدريب النماذج اللغوية على مهام مساعدة تقيّم مدى فهمها لتوزيع البيانات، مثل مهمة التنبؤ بالجملة التالية (NSP). وفي هذه المهمة يُعرض على النموذج أزواج من الجمل، ويتعين عليه التنبؤ بمدى توالي هاتين الجملتين في مجموعة البيانات التدريبية. أثناء عملية التدريب، يُستعمل كذلك مفهوم "خسارة التنظيم" لتعزيز استقرار عملية التعلم. بيد أن هذا المفهوم لا يُستعمل عادةً خلال مراحل الاختبار والتقييم.

كذلك، نماذج ملء الفراغات: حيث تقوم هذه النماذج بتحديد الكلمات المفقودة في نص غير كامل، كما يعمل نموذج "بيرت". فمثلًا، إذا قدمنا الجملة "أحب أن [][] كريم"، فإنه قد يستكملها بقوله "آكل" و"تفاحة".

علاوةً على ذلك، يمكن لأضخم النماذج اللغوية، ومنها نموذج جيميناي 1.5 الذي أطلقته شركة غوغل في فبراير عام 2024، أن تتسع لنافذة سياقية تصل إلى مليون رمز (وقد جُربت نافذة سياقية تتسع لعشرة ملايين رمز بنجاح). ومن الأمثلة الأخرى على النماذج ذات النوافذ السياقية الواسعة نموذج كلود 2.1 من شركة أنثروبيك، الذي يتسع لـ200 ألف رمز مميز. ومن الجدير بالذكر أن هذا الحد الأقصى يشير إلى عدد الرموز المدخلة، بينما يختلف الحد الأقصى لعدد الرموز المخرجة وغالبًا ما يكون أقل. فمثلًا يقتصر الحد الأقصى لعدد الرموز المخرجة في نموذج جي بي تي-4 تربو على 4096 رمزًا مميزًا.

إضافةً إلى ذلك، يمكن تدريب نموذج لغوي مسبقًا على استشراف الكلمات اللاحقة لتسلسل كلمات معين، أو على استكمال الفراغات الناقصة في نص مُعطى، وذلك بالاعتماد على بيانات تدريبية واسعة. ويمكن تصنيف هذه النماذج إلى نوعين رئيسيين:

التقييمات المُصمّمة خصيصًا

من جهة ثانية، ولمعالجة هذه التحديات، طور باحثون مجموعات بيانات جديدة تركز على نقاط ضعف محددة في نماذج اللغات الحالية. من الأمثلة البارزة على ذلك مجموعة بيانات TruthfulQA، التي تتضمن أسئلة يصعب على النماذج الإجابة عليها صحيحًا بسبب ميلها إلى تكرار المعلومات الخاطئة التي تعلمتها خلال التدريب. فمثلًا، قد يجيب نموذج لغة كبير على سؤال "هل يمكن تعليم كلب قديم حيلة جديدة؟" بـ "لا"، وذلك بسبب تعلمه للمثل الشائع الذي ينفي ذلك، حتى لو كان هذا الجواب غير دقيق من الناحية العلمية.

من جهة ثانية، سبب التطور المتسارع في نماذج اللغات الكبيرة، فقد عانت مقاييس الأداء من قصر عمرها الافتراضي. إذ سرعان ما "تشبع" هذه النماذج المتقدمة من المقاييس الحالية، متجاوزة أداء البشر المتخصصين. مما دفع الباحثين إلى البحث عن مهام أكثر تعقيدًا لاستبدال هذه المقاييس أو تعزيزها. علاوةً على ذلك، ظهرت ظاهرة "تعلم الاختصارات"، حيث تلجأ أنظمة الذكاء الاصطناعي أحيانًا إلى خداع اختبارات الاختيار. وذلك من خلال استغلال الارتباطات الإحصائية البسيطة في صياغة الأسئلة، مما يسمح لها بتخمين الإجابات الصحيحة دون بالضرورة فهم المعنى الحقيقي للسؤال.

تكلفة التدريب

علاوةً على ذلك، ومن الجدير بالذكر أن تكلفة تدريب نماذج اللغات الكبيرة القائمة على آلية الانتباه الذاتي تكون أعلى بكثير من تكلفة استخدامها للاستدلال على نتائج جديدة. ففي المتوسط، يتطلب تدريب رمز مميز واحد نحو 6 عمليات حسابية عائمة لكل معامل، بينما يتطلب استنتاج رمز مميز واحد من 1 إلى 2 عملية حسابية عائمة لكل معامل فقط.

ومن جهة أخرى، أسهمت التطورات المتسارعة في البرامج والأجهزة الرقمية في خفض تكاليف تدريب نماذج اللغات الكبيرة خفضًا ملحوظًا منذ عام 2020. ففي حين أن تدريب نموذج لغوي ضخم يحتوي على 12 مليار معامل يتطلب في الوقت الحالي نحو 72 ألف ساعة عمل لوحدة معالجة الرسومات من طراز A100، إلا أن تكلفة تدريب نموذج مماثل بحجم 1.5 مليار معامل في سنة 2020 كانت تتراوح بين 80 ألف دولار و1.6 مليون دولار، وهو ما يعكس تطورًا هائلًا في كفاءة العمليات الحسابية. ومنذ ذلك الحين، شهدنا استثمارات ضخمة في تطوير نماذج لغوية أكبر وأكثر تعقيدًا. فمثلًا، بلغت تكلفة تدريب نموذج جي بي تي-2 الذي يحتوي على 1.5 مليار معامل نحو 50 ألف دولار في سنة 2019، بينما بلغت تكلفة تدريب نموذج بالم الأكبر بكثير والذي يحتوي على 540 مليار معامل نحو 8 مليون دولار في عام 2022. كما بلغت تكلفة تدريب نموذج Megatron-Turing NLG الذي يحتوي على 530 مليار معامل نحو 11 مليون دولار في عام 2021.

الوكلاء

وفي هذا السياق، يُنشئ أسلوب الانعكاس وكيلًا يتعلم عبر دورات متتالية. في نهاية كل دورة، يُعطى النموذج اللغوي الكبير سجلًا بالدورة، ويُطلب منه التفكير في "الدروس المُستفادة"، مما يساعده على الأداء أفضل في الدورة التالية.

وفي هذا السياق، في سياق الاستكشاف المفتوح، يمكن توظيف نموذج لغوي واسع لتدوين ملاحظات "مثيرة للاهتمام"، تُستعمل بدورها كإشارات مكافأة لتوجيه وكيل التعلم التعزيزي البسيط (غير اللغوي). وعوضًا عن ذلك يمكن للنموذج اقتراح مهامّ متزايدة الصّعوبة لتمكين التعلم التدريجي. وبدلًا من إخراج أفعال فردية، يمكن لنموذج التخطيط اللغوي الكبير بناء "مهارات"، أي دوال تمثل تسلسلات من الأفعال المعقدة. ويمكن تخزين هذه المهارات واسترجاعها لاحقًا، مما يتيح مستويات أعلى من التجريد في التخطيط.

وعلى صعيد آخر، ينشئ نمط "ريآكت" (المركب من "التفكير" و"الفعَل") وكيلًا ذكيًا من خلال الاعتماد على نموذج لغوي كبير كمحرك رئيسي للتفكير والتخطيط. إذ يُطلب من النموذج اللغوي أن "يفكر بصوت عالٍ"، أي أن يقدم وصفًا نصيًا مفصلًا للبيئة التي يعمل فيها، والهدف المطلوب تحقيقه، وقائمة بالإجراءات المتاحة، وسجلًا بالإجراءات التي نُفِّذت والنتائج التي أسفرت عنها. وعليه، يقوم النموذج بتوليد فكرة أو أكثر قبل اختيار الإجراء الأنسب وتنفيذه في البيئة المحددة. ويمكن أن يكون الوصف اللغوي للبيئة المقدم للنموذج على شكل رمز لاتكس لورقة تصف البيئة بدقة.

وفي هذا السياق، في أسلوب "وصف، شرح، تخطيط واختيار" (DEPS)، يُربط أولًا نموذج لغوي واسع بالواقع المرئي عبر أوصاف الصور، ثم يُطلب منه وضع خطط لأعمال وأفعال معقدة استنادًا إلى معلوماته المتراكمة مسبقًا والآراء البيئية التي يتلقاها.

ومن ناحية أخرى، يمكن للوكلاء المدعومين بنماذج لغوية واسعة الاحتفاظ بذاكرة طويلة الأمد للسياقات السابقة، ويمكن استرجاع هذه الذاكرة بنفس طريقة التوليد المعزز بالاسترجاع. ويمكن لمجموعة من هذه الوكلاء التفاعل اجتماعيًا.

وفي السياق ذاته، يمكن لـ بحث شجرة مونت كارلو أن يستعمل نموذجًا لغويًا واسعًا كتجربة للاستدلال. وعندما لا يتوفّر نموذج عالمي برمجي، يمكن كذلك طلب نموذج لغوي واسع بوصف للبيئة ليعمل كنموذج عالمي.

في هذا الإطار، النموذج اللغوي الكبير هو نموذج لغوي محض، لا يعد وكيلًا ذكيًا بذاته لافتقاره إلى هدف محدد، إلا أنه يمكن توظيفه كعنصر أساسي في بناء وكيل ذكي.

الخصائص

وفي السياق ذاته، يبدو أداء النماذج الحاسوبية الضخمة في تنفيذ مختلف المهام، عند تمثيله بيانيًا على مقياس لوغاريتمي مزدوج، وكأنه استقراء خطي لأداء النماذج الأصغر حجماً. ومع ذلك، قد تشهد هذه العلاقة الخطية "انكسارات" في قانون التوسع، حيث يتغير ميل الخط فجأة، وتكتسب النماذج الأكبر حجمًا "قدرات جديدة"، ناشئة عن التفاعلات المعقدة بين مكونات النموذج، دون أن تكون مبرمجة أو مصممة صراحة.

كذلك، التوجيه المتسلسل: تتحسن نواتج النموذج باستخدام التوجيه المتسلسل فقط عندما يتجاوز حجم النموذج 62 مليار معلمة. وتؤدي النماذج الأصغر أداءً أفضل عندما يُطلب منها الإجابة مباشرة دون اتباع سلسلة من الأفكار.

علاوةً على ذلك، إجراء العمليات الحسابية، فك رموز الأبجدية الصوتية الدولية، إعادة ترتيب حروف الكلمة، تحديد معنى الكلمة في سياقها، تحويل الألفاظ المكانية واتجاهات الأركان الأساسية (مثل الرد بـ"الشمال الشرقي" عند إعطاء الإحداثيات [0, 0, 1; 0, 0, 0; 0, 0, 0])، وتحديد الألوان المذكورة نصًا.

ومن ناحية أخرى، من بين القدرات الناشئة الأكثر إثارة للاهتمام، القدرة على التعلم السياقي من خلال أمثلة توضيحية. يتضمن التعلم السياقي مهام مثل:

وعلى صعيد آخر، أظهرت الدراسات الحديثة كذلك أن أنظمة الذكاء الاصطناعي، بما في ذلك نماذج اللغات الكبيرة، قادرة على استخدام الاستدلال التنبؤي المشابه للاستدلال البشري. فهي توازن بين المعالجة المنطقية الشاملة وبين استخدام اختصارات معرفية (الاستدلالات)، وتعدل استراتيجياتها الاستدلالية لتحقيق التوازن الأمثل بين الدقة والجهود المبذولة. يتوافق هذا السلوك مع مبادئ الإدراك البشري الاقتصادي للموارد، كما هو موضح في النظريات الكلاسيكية للعقلانية المحدودة ونظرية المعالجة المزدوجة.

إضافةً إلى ذلك، التعرف على المحتوى المسيء في فقرات الهنجليزية (مزيج من الهندية والإنجليزية)، وتوليد معادل إنجليزي مشابه للأمثال السواحلية.

ومن ناحية أخرى، يُجادل شافر وزملاؤه بأن القدرات الناشئة لا تُكتسب كسبًا غير متوقع، بل تُكتسب كسبًا متوقع وفقًا . وقد نظر المؤلفون في نموذج إحصائي مصغر لنموذج لغوي كبير يحل أسئلة الاختيار من متعدد، وأظهروا أن هذا النموذج الإحصائي، المعدل لحساب أنواع أخرى من المهام، ينطبق على هذه المهام كذلك.

الأمان

كذلك، أظهرت دراسة أجراها باحثون في جوجل وعدة جامعات، من بينها كورنيل وكاليفورنيا، وجود مخاطر أمنية محتملة في نماذج لغوية مثل شات جي بي تي. فقد تمكن الباحثون من استخلاص جزء من بيانات التدريب التي استعملت في تدريب هذا النموذج. فعند تكرار طلب الحصول على كلمة معينة لعدد كبير من المرات، بدأ النموذج في تكرار مقاطع من بيانات التدريب عشوائيًا. وقد لاحظ الباحثون آلاف الأمثلة على هذا السلوك، مما يثير تساؤلات حول مدى أمان هذه النماذج.

في هذا الإطار، يشكل وجود ما يسمى بـ "العوامل الكامنة" داخل نماذج اللغة الكبيرة مصدر قلق أمني آخر. هذه الوظائف المخبأة يمكن تفعيلها بحدث معين لتدفع النموذج إلى التصرف بطريقة غير متوقعة وضارة. على الرغم من وجود ضوابط أمنية في تطبيقات مثل شات جي بي تي وكلود لمنع توليد محتوى ضار، إلا أن هذه الضوابط ليست مضمونة الفعالية. فقد تمكن باحثون من تطوير طرق للتلاعب بهذه النماذج والحصول على معلومات خطيرة، مثل كيفية إنشاء شبكات لتجارة المخدرات.

ومن جهة أخرى، أعرب بعض الباحثين عن مخاوفهم من إمكانية توليد معلومات مضللة عمدًا أو عن طريق الخطأ، أو استغلال هذه النماذج في سلوكيات ضارة أخرى. فمثلًا، يمكن أن تساهم نماذج اللغة الكبيرة في تقليل المهارة اللازمة لارتكاب أعمال إرهابية بيولوجية؛ حيث اقترح الباحث في الأمن البيولوجي كيفن إيسفلت ضرورة استبعاد الأبحاث المتعلقة بتطوير مسببات الأمراض من بيانات تدريب هذه النماذج.

الحيرة

وعلى صعيد آخر، حيث يُمثل عدد الرموز في مجموعة النص، و"سياق الرمز " يعتمد على نوع نموذج اللغة الكبير المحدد. إذا كان النموذج تلقائي التراجع، فإن "سياق الرمز " هو جزء النص الذي يظهر قبل الرمز . وإذا كان النموذج مُقنّعًا فإن "سياق الرمز " هو جزء النص المحيط بالرمز .

ومن جهة أخرى، نظرًا لأن نماذج اللغة قد تُفرط في ملاءمتها لبيانات تدريبها، فعادةً ما تُقيم النماذج من خلال درجة حيرتها على مجموعة اختبار. قد يكون هذا التقييم مشكلة بالنسبة للنماذج الأكبر حجمًا، والتي تصبح أكثر عرضة لإدراج أجزاء من أي مجموعة اختبار معينة مع زيادة حجم مجموعات النص التي يدُرِّبت عليها.

ومن جهة أخرى، المقياس التقليدي لأداء نموذج اللغة الكبير هو درجة حيرته على مجموعة نصية معينة. يقيس الحيرة مدى قدرة النموذج على التنبؤ بمحتويات مجموعة البيانات؛ فكلما زادت احتمالية تعيين النموذج لمجموعة البيانات، قلت درجة حيرته. بعبارات رياضية، الحيرة هي الأس الأسية لمتوسط سالب لوغاريتم الاحتمال لكل رمز.

تاريخ

وفي هذا الصدد، بعدها شهدت الفترة ما بين أواخر عاد 2024 وبداية عام 2026 تحولاً جذرياً من التركيز على حجم النماذج إلى التركيز على كفاءة الاستدلال وتعدد الوسائط الأصيلة. في أواخر عام 2024، قدمت أوبن ايه اي (OpenAI) سلسلة نماذج o1، وهي أولى النماذج التي دمجت تقنيات الاستدلال بسلسة الأفكار(Chain of Thought) بشكل بنيوي أثناء المعالجة، مما مكنها من حل مسائل معقدة في الرياضيات والبرمجة والعلوم تفوقت بها على القدرات البشرية في اختبارات محددة.

معالجة البيانات المُسبقة

وفي السياق ذاته، على صعيد المعمارية، بدأ الاعتماد يتزايد على الهياكل الهجينة التي تدمج بين بنية المحولات(Transformers) ونماذج مساحة العمل(SSMs) مثل Mamba، وذلك للتغلب على التكاليف الحوسبية العالية للنصوص الطويلة جداً، حيث أصبحت نماذج عام 2026 قادرة على معالجة ملايين الكلمات في نافذة سياق واحدة بفعالية تامة. كما انتقلت الصناعة من النماذج التي تصف الصور والفيديو إلى النماذج متعددة الوسائط الأصلية(Native Multimodal)، والتي تعالج الصوت والصورة والنص في مساحة تمثيلية واحدة منذ بداية التدريب.

وفي السياق ذاته، كانت نماذج اللغة المتنافسة تحاول في أغلبها مساواة سلسلة GPT، على الأقل من حيث عدد المعلمات.

علاوةً على ذلك، تعتمد النماذج الأكبر حجمًا والأكثر كفاءة على بنية Transformer في 2024، بينما تعتمد بعض التطبيقات الحديثة على هياكل معمارية أخرى، مثل متغيرات الشبكة العصبية المتكررة ومامبا (نموذج مساحة الحالة).

ومن جهة أخرى، على الرغم من أن جي بي تي-1 لفك التشفير فقط قُدم في عام 2018، إلا أن جي بي تي-2 في سنة 2019 هو الذي لفت الانتباه على نطاق واسع لأن أوبن أيه آي اعتبرته في البداية قويًا جدًا بحيث لا يمكن إصداره للجمهور، خوفًا من الاستخدام الضار. ذهب جي بي تي-3 في عام 2020 إلى أبعد من ذلك، واعتبارًا من عام 2024، أصبح متاحًا فقط عبر واجهة برمجة التطبيقات دون عرض تنزيل النموذج لتنفيذه محليًا. لكن شات جي بي تي القائم على المتصفح والموجه للمستهلك في سنة 2022 أثار خيال عامة الناس وتسبب في بعض الضجيج الإعلامي والضجيج عبر الإنترنت. أُثني على جي بي تي-4 لعام 2023 لدقته المتزايدة وقدراته متعددة الوسائط. لم تكشف أوبن أيه آي عن البنية عالية المستوى وعدد معلمات جي بي تي-4.

في هذا الإطار، في مؤتمر نظم معالجة المعلومات العصبية عام 2017، قدم باحثو جوجل بنية المحولات في ورقتهم البحثية البارزة "الاهتمام هو كل ما تحتاجه". كان هدف هذه الورقة هو تحسين تقنية سيك تو سيك لعام 2014، واستندت إلى آلية الاهتمام التي طورها باهدانو وآخرون في سنة 2014. في العام التالي في عام 2018 قُدّم BERT. على الرغم من أن المحول الأصلي يحتوي على كتل التشفير وفك التشفير، إلا أن BERT هو نموذج تشفير فقط.

في هذا الإطار، بعد أن أصبحت الشبكات العصبية مهيمنةً في معالجة الصور نحو عام 2012 ، طُبقت على نمذجة اللغة كذلك. حولت جوجل خدمة الترجمة الخاصة بها إلى الترجمة الآلية العصبية في عام 2016. كما كان الحال قبل المحولات، جرى ذلك بشبكات LSTM العميقة سيك تو سيك.

إضافةً إلى ذلك، بحلول عام 2025، وصلت النماذج المفتوحة المصدر إلى مرحلة النضج الكامل؛ حيث أصدرت ميتا نموذج Llama4، الذي تجاوزت قدراته في بعض المعايير نماذج GPT-4 وClaude 3.5، خاصة في المهام التحليلية، مما أدى إلى تقليص الفجوة التقنية بين النماذج التجارية والمفتوحة. كما برزت نماذج DeepSeek كلاعب رئيسي من خلال تقديم تقنيات تدريب موفرة للتكلفة وحوسبة عالية الكفاءة.

من جهة ثانية، منذ عام 2022، اكتسبت النماذج المتاحة المصدر شعبيةً، وخاصةً في البداية نموذجي BLOOM ولاما، على الرغم من أن كلاهما لديه قيود على مجال الاستخدام. تتمتع نماذج Mistral 7B وميسترال وMixtral 8x7b، برخصة أباتشي أكثر تساهلًا. اعتبارًا من يونيو 2024، يعد النوع المحسن للتعليمات من نموذج "لاما 3" ذي 70 مليار معلمة هو أقوى نموذج لغو كبير مفتوح بحسب قائمة المتصدرين في LMSYS Chatbot Arena، حيث أنهأقوى من جي بي تي-3.5 ولكنه ليس بنفس قوة جي بي تي-4.

وفي هذا الصدد، قبل عام 2017، كان عدد نماذج اللغة التي كانت كبيرةً قليلًا مقارنةً بالقدرات المتاحة حينها. في التسعينيات، كانت نماذج محاذاة IBM رائدةً في النمذجة الإحصائية للغة. حقق نموذج n-gram المحسن في سنة 2001، والذي دُرِّب على 0.3 مليار(300 مليون) كلمة، حيرةً متطورةً حينها. في العقد الأول من القرن الحادي والعشرين، مع انتشار استخدام الإنترنت، أنشأ بعض الباحثين مجموعات بيانات لغوية على نطاق الإنترنت ("الويب كجسم نصي" )، قاموا بتدريب نماذج اللغة الإحصائية عليها. في سنة 2009، في أغلب مهام معالجة اللغة، سيطرت نماذج اللغة الإحصائية على نماذج اللغة الرمزية، حيث يمكنها استيعاب مجموعات بيانات كبيرة استعيابًا مفيدًا.

التأثير الأوسع

من جانب آخر، في سنة 2023م، أشارت مجلة "نيتشر بيوميديكال انجينيرنج" إلى استحالة التمييز بدقة بين النصوص التي ينتجها البشر وتلك التي تولّدها نماذج اللغات الكبيرة، مؤكدةً انتشار هذه النماذج ذات الأغراض العامة بسرعة وتأثيرها المتوقع على الكثير من الصناعات. وفي نفس العام، أشارت مؤسسة غولدمان ساكس إلى إمكانية زيادة الناتج المحلي الإجمالي العالمي بنسبة 7% خلال العقد القادم بفضل الذكاء الاصطناعي اللغوي التوليدي، مع تحذيرها من تهديد هذا التطور لأكثر من 300 مليون وظيفة حول العالم.

البيانات الاصطناعية

ومن جهة أخرى، قد يتطلب تدريب نماذج اللغة الكبيرة كميات هائلة من البيانات اللغوية تتجاوز ما هو متوفر طبيعيًا. أو قد تكون البيانات الطبيعية غير كافية من حيث الجودة للمهمة المطلوبة. في مثل هذه الحالات، يمكن اللجوء إلى البيانات المولدة. فمثلًا، دُرّبت سلسلة نماذج اللغة الكبيرة (Phi) من مايكروسوفت على بيانات شبيهة بكتب المدرسة ولّدها نموذج لغوي كبير آخر.

الوسائط المتعددة

علاوةً على ذلك، تعني الوسائط المتعددة "امتلاك عدة وسائط"، ويشير "الوسيط" إلى نوع من المدخلات أو المخرجات، مثل الفيديو، والصورة، والصوت، والنص، والإحساس الحركي، وما إلى ذلك. وقد دُربت الكثير من نماذج الذكاء الاصطناعي خصيصًا لاستيعاب نمط واحد وإخراج نمط آخر، مثل ألكسنت"الصّورة إلى التّسمية"، والإجابة على الأسئلة المرئية "صورة-نص إلى نص"، والتعرف على الكلام "كلام إلى نص".

وفي هذا السياق، يمكن لنموذج جي بي تي-4 استخدام كل من النص والصورة كمدخلات، كما أن جيميناي من جوجل ديب مايند يُعد نموذجًا متعدد الوسائط. قدمت شركة ميسترال نموذجها متعدد الوسائط الخاص "بيكسترال 12 بي" (Pixtral 12B) في سبتمبر 2024.

من جانب آخر، أظهر فلامينجو فعالية أسلوب التجزئة، حيث ضُبط زوج من نموذجي اللغة والمشفر المرئي المدربين مسبقًا لتحسين أدائهما في مجال الإجابة على الأسئلة المرئية مقارنة بالنماذج المدربة من الصفر. ضُبط نموذج جوجل بالم إلى نموذج متعدد الوسائط بالم-إي باستخدام أسلوب التجزئة، وطُبق على التحكم الآلي. كما جرى تحويل نماذج لاما إلى نماذج متعددة الوسائط باستخدام أسلوب التجزئة، للسماح بإدخال الصور، ومقاطع الفيديو.

ترميز زوج البايتات

ومن جهة أخرى، لنفترض أن لدينا مجزئًا للكلمات مبنيًا على ترميز أزواج البايتات. في الخطوة الأولى، نعامل كل حرف مستقل (بما في ذلك الفراغات وعلامات الترقيم) كوحدة لغوية أساسية (أي أحاديات). ثم نقوم بدمج زوجي الحروف الأكثر تكرارًا المتجاورين لتكوين وحدات لغوية مكونة من حرفين (ثنائيات)، ونستبدل كل زوج بمثيله من الثنائيات. لاحقًا، نكرر هذه العملية لدمج الثنائيات المتكررة المتجاورة لتكوين وحدات لغوية أطول، وهكذا حتى نحصل على مجموعة محددة من الوحدات اللغوية (في حالة نموذج جي بي تي-3، يبلغ عددها 50257). بعد تدريب هذا المجزئ، يمكننا تجزئة أي نص، بشرط ألا يحتوي على أحرف غير موجودة في المجموعة الأساسية للأحرف المفردة.

التفسير

من جانب آخر، وفي دراسة أخرى درّب باحثون نماذج محولة صغيرة على عملية الجمع في الحسابات العددية، ونجح الباحثون في عكس هندسة هذه النماذج واكتشفوا أنها تستعمل تحويل فورييه المنفصل لحل هذه العملية.

وفي هذا الصدد، في دراسة أولى دُرب نموذج محول صغير على لعبة ريفيرسي (Othello)، ونجح الباحثون في اكتشاف تمثيل خطي لوضع اللعبة على اللوحة، حيث يؤدي تعديل هذا التمثيل إلى تغير الحركات المقترحة تغيرًا منطقيًا. وفي دراسة أخرى دُرب نموذج مماثل على لغة البرمجة "كارل"، وكشفت النتائج عن تمثيل خطي لدلالات هذه اللغة، مما سمح بتعديل الناتج البرمجي تعديلًا متوقعًا. والأكثر من ذلك، أن النموذج تمكن من توليد برامج أقصر وأكثر كفاءة من تلك الموجودة في مجموعة التدريب.

علاوةً على ذلك، تُعتبر نماذج اللغات الكبيرة بمثابة صناديق سوداء، إذ يصعب فهم الكيفية التي تؤدي بها مهامها اللغوية المتعددة. ولتسليط الضوء على آليات عمل هذه النماذج،برزت عدة منهجيات بحثية. من بينها "قابلية التفسير الآلية" التي تهدف إلى فك شفرة البنية الداخلية لهذه النماذج وكشف الخوارزميات الكامنة وراء استدلالاتها. وقد أثمرت هذه المنهجية عن نتائج واعدة في عدة دراسات.

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.