مرجع
آخر الزيارات

المحول المولد مسبق التدريب 2

2٬097 كلمة•0 مشاهدة•🗒️ منذ 18 يوماً
باختصار: المحول المولد مسبق التدريب 2 هو نموذج لغوي كبير من أوبن أيه آي والثاني في سلسلة نماذج محول مولد مسبق التدريب الأساسية الخاصة بهم. تتناول المقالة 9 أقسام، منها «التدريب»، «التطبيق والبحث اللاحق» و«الإصدار».
المحتويات
  1. التدريب
  2. التطبيق والبحث اللاحق
  3. الإصدار
  4. الإصدار الكامل 1.5 مليار
  5. الأداء والتقييم
  6. الإصدارات الصغيرة والمتوسطة
  7. القيود والإصدار الجزئي
  8. إصدار 774 إم
  9. القيود
المحول المولد مسبق التدريب 2

في البداية، المحول المولد مسبق التدريب 2 هو نموذج لغوي كبير من أوبن أيه آي والثاني في سلسلة نماذج محول مولد مسبق التدريب الأساسية الخاصة بهم. تم تدريب المحول المولد مسبق التدريب 2 مسبقًا على مجموعة بيانات مكونة من 8 ملايين صفحة ويب. تم إصداره جزئيًا في فبراير 2019، تلاه الإصدار الكامل للنموذج الذي يحتوي على 1.5 مليار معلمة في 5 نوفمبر 2019. وفيما يلي تفاصيل أوسع عن ذلك.

وفي السياق ذاته، تم إنشاء المحول المولد مسبق التدريب 2 باعتباره «تطويرًا مباشرًا» للمحول المولد مسبق التدريب 1 مع زيادة بمقدار عشرة أضعاف في كل من عدد المعلمات وحجم مجموعة بيانات التدريب الخاصة به. إنه متعلم عام الغرض، وكانت قدرته على أداء المهام المختلفة نتيجة لقدرته العامة على التنبؤ بدقة بالعنصر التالي في التسلسل، مما مكنه من ترجمة النصوص، والإجابة على أسئلة حول موضوع من نص، وتلخيص مقاطع من نص أكبر، وتوليد إخراج نصي على مستوى لا يمكن تمييزه أحيانًا عن مستوى البشر؛ ومع ذلك، يمكن أن يصبح متكررًا أو غير منطقي عند توليد مقاطع طويلة. وقد تم استبداله بنماذج المحول المولد مسبق التدريب 3 والمحول المولد مسبق التدريب 4، والتي لم تعد مفتوحة المصدر.

وعلى صعيد آخر، يحتوي المحول المولد مسبق التدريب 2، مثل سابقه المحول المولد مسبق التدريب 1 وخلفائه المحول المولد مسبق التدريب 3 والمحول المولد مسبق التدريب 4، على بنية محول مُدرَّبة مسبقًا، تنفذ شبكة عصبية عميقة، وبشكل خاص نموذج محول، والذي يستعمل الانتباه بدلاً من البنيات القديمة القائمة على التكرار والالتفاف. تسمح آليات الاهتمام للنموذج بالتركيز بشكل انتقائي على أجزاء من النص المدخل الذي يتوقع أن يكون الأكثر صلة. يسمح هذا النموذج بزيادة كبيرة في التوازي، ويتفوق على المعايير السابقة للنماذج المستندة إلى RNN/CNN/LSTM.

التدريب

من جهة ثانية، نظرًا لأن بنية المحول مكّنت من التوازي الهائل، فقد أصبح من الممكن تدريب نماذج المحول المولد مسبق التدريب على مجموعات بيانات أكبر من نماذج معالجة اللغة الطبيعية (NLP) السابقة. وفي حين أظهر نموذج المحول المولد مسبق التدريب 1 أن هذا النهج قابل للتطبيق، فإن نموذج المحول المولد مسبق التدريب 2 سوف يستكشف بشكل أكبر الخصائص الناشئة للشبكات المدربة على مجموعات بيانات كبيرة للغاية. تم اعتبار الزحف المشترك، وهو عبارة عن مجموعة كبيرة من البيانات تم إنتاجها بواسطة الزحف على الويب وتم استخدامها سابقًا في تدريب أنظمة معالجة اللغة الطبيعية، نظرًا لحجمها الكبير، ولكن تم رفضها بعد أن كشفت مراجعة أخرى عن كميات كبيرة من المحتوى غير المفهوم. بدلاً من ذلك، طورت أوبن أيه آي مجموعة جديدة تُعرف باسم ويب تكست؛ بدلاً من كشط المحتوى بشكل عشوائي من شبكة الويب العالمية، تم إنشاء ويب تكست عن طريق كشط الصفحات المرتبطة فقط بمنشورات ريديت التي تلقت 3 كارما على الأقل قبل ديسمبر 2017. تم تنظيف المجموعة لاحقًا؛ وتم تحليل مستندات إتش تي إم إل إلى نص عادي، وتم التخلص من الصفحات المكررة، وتمت إزالة صفحات ويكيبيديا (نظرًا لأن وجودها في الكثير من مجموعات البيانات الأخرى قد يؤدي إلى الإفراط في التجهيز).

علاوةً على ذلك، في حين أن تكلفة تدريب المحول المولد مسبق التدريب 2 معروفة بأنها 256 دولارًا في الساعة، فإن عدد الساعات التي استغرقها إكمال التدريب غير معروف؛ وبالتالي، لا يمكن تقدير التكلفة الإجمالية للتدريب بدقة. ومع ذلك، فقد تم توثيق تكاليف نماذج اللغة الكبيرة القابلة للمقارنة باستخدام بنيات المحولات بمزيد من التفصيل؛ حيث استهلكت عمليات التدريب الخاصة ببيرت و، على التوالي، 6،912 دولارًا و245،000 دولارًا من الموارد.

التطبيق والبحث اللاحق

إضافةً إلى ذلك، في 9 مايو 2023، أصدرت أوبن أيه آي نسخة مرسومة من المحول المولد مسبق التدريب 2. استعملت أوبن أيه آي نموذج الخليفة، المحول المولد مسبق التدريب 4، لرسم خريطة لكل خلية عصبية من المحول المولد مسبق التدريب 2 لتحديد وظائفها.

ومن جهة أخرى، في فبراير 2021، أعلن مركز الأزمات للمراهقين المضطربين أنهم سيبدأون في استخدام روبوت محادثة مشتق من المحول المولد مسبق التدريب 2 للمساعدة في تدريب المستشارين من خلال السماح لهم بإجراء محادثات مع المراهقين المحاكين (كان هذا الاستخدام لأغراض داخلية بحتة، ولم يتضمن تواصل المحول المولد مسبق التدريب 2 مع المراهقين أنفسهم).

من جانب آخر، في عام 2019، تم إطلاق إيه آي دنجن، والذي استعمل المحول المولد مسبق التدريب 2 لإنشاء مغامرات نصية ديناميكية تعتمد على إدخال المستعمل. يقدم إيه آي دنجن الآن إمكانية الوصول إلى أكبر إصدار من واجهة برمجة التطبيقات المحول المولد مسبق التدريب 3 كترقية مدفوعة اختيارية، وتستعمل النسخة المجانية من الموقع ثاني أكبر إصدار من المحول المولد مسبق التدريب 3. جمعت شركة لاتيتيود، التي تأسست حول إيه آي دنجن، 3.3 مليون دولار في تمويل أولي في عام 2021. تستضيف الكثير من المواقع الإلكترونية عروضًا تفاعلية لحالات مختلفة من المحول المولد مسبق التدريب 2 ونماذج المحولات الأخرى.

وفي السياق ذاته، حتى قبل إصدار النسخة الكاملة، تم استخدام المحول المولد مسبق التدريب 2 لمجموعة متنوعة من التطبيقات والخدمات، وكذلك للترفيه. في يونيو 2019، تم إنشاء منتدى فرعي باسم r/SubSimulatorGPT2، حيث قامت مجموعة متنوعة من حالات المحول المولد مسبق التدريب 2 المدربة على منتديات فرعية مختلفة بنشر منشورات والرد على تعليقات بعضها البعض، مما أدى إلى خلق حالة يمكن فيها ملاحظة «تجسيد الذكاء الاصطناعي لـ r/Bitcoin يتجادل مع روح r/ShittyFoodPorn المستمدة من التعلم الآلي»؛ بحلول يوليو من ذلك العام، وصف المستعملون برنامجًا قائمًا على المحول المولد مسبق التدريب 2 تم إصداره لإكمال أسطر التعليمات البرمجية تلقائيًا في مجموعة متنوعة من لغات البرمجة بأنه «مغير لقواعد اللعبة».

الإصدار

وفي هذا السياق، توصلت دراسة أجرتها جامعة أمستردام باستخدام اختبار تورينج المعدل إلى أنه في بعض السيناريوهات على الأقل، لم يتمكن المشاركون من التمييز بين القصائد التي تم إنشاؤها بواسطة المحول المولد مسبق التدريب 2 وتلك التي كتبها البشر.

ومن جهة أخرى، تم الإعلان عن المحول المولد مسبق التدريب 2 لأول مرة في 14 فبراير 2019. ذكرت مقالة كتبها جيمس فينسنت في فبراير 2019 في ذا فيرج أنه على الرغم من أن «الكتابة التي تنتجها يمكن التعرف عليها بسهولة على أنها غير بشرية»، إلا أنها تظل «واحدة من أكثر الأمثلة إثارة حتى الآن» لبرامج توليد اللغة:

ومن ناحية أخرى، أعطه عنوانًا زائفًا، وسيكتب بقية المقال، مُرفقًا باقتباسات وإحصائيات زائفة. غذِّه بالسطر الأول من قصة قصيرة، وسيخبرك بما سيحدث لشخصيتك لاحقًا. يمكنه حتى كتابة قصص خيالية، إذا وُجِّهت إليه الدعوة المناسبة.

في هذا الإطار، وصفت صحيفة الجارديان هذا الناتج بأنه «نثر صحفي معقول»؛ وقالت من فوكس «قد يكون أحد أروع أنظمة الذكاء الاصطناعي التي رأيتها على الإطلاق هو النظام الذي سيطردني من وظيفتي». تم وصف مرونة المحول المولد مسبق التدريب 2 بأنها «مثيرة للإعجاب» بواسطة ذا فيرج؛ على وجه التحديد، تمت الإشارة إلى قدرتها على ترجمة النصوص بين اللغات، وتلخيص المقالات الطويلة، والإجابة على أسئلة عامة.

الإصدار الكامل 1.5 مليار

علاوةً على ذلك، لم تتحقق المخاوف الأولية من أن المحول المولد مسبق التدريب 2 قد يُساء استخدامه على نطاق واسع؛ فقد ذكر موقع ذا فيرج أن «هناك أسبابًا للشك في مزاعم أن تقنية الذكاء الاصطناعي ستُبشر بكارثة معلوماتية. بدايةً، لدينا بالفعل برامج قادرة على توليد نصوص معقولة بكميات كبيرة وبتكلفة زهيدة: البشر». وبحلول نوفمبر 2019، صرحت أوبن أيه آي بأنها «لم ترَ أي دليل قوي على إساءة الاستخدام حتى الآن»، وأن النسخة الكاملة، التي تضم 1.5 مليار معلمة مُدربة بأربعين جيجابايت من البيانات، «أكبر بحوالي ثمانية آلاف مرة من الأعمال الكاملة لشكسبير»، صدرت في 5 نوفمبر 2019.

الأداء والتقييم

علاوةً على ذلك، وعلى الرغم من ذلك، فقد حقق المحول المولد مسبق التدريب 2 5 بلو في مجموعة اختبار دبليو إم تي-14 من الإنجليزية إلى الفرنسية (أقل قليلاً من درجة الترجمة عن طريق الاستبدال كلمة بكلمة). كما تمكنت من التفوق على الكثير من خطوط الأساس المعاصرة للترجمة الآلية غير الخاضعة للإشراف (2017) في مجموعة الاختبار من الفرنسية إلى الإنجليزية، حيث حقق المحول المولد مسبق التدريب 2 11.5 بلو. ظل هذا أقل من أعلى أداء للنهج المعاصر غير الخاضع للإشراف (2019)، والذي حقق 33.5 بلو. ومع ذلك، استعملت نماذج أخرى كميات كبيرة من النصوص الفرنسية لتحقيق هذه النتائج؛ وقد قُدِّر أن المحول المولد مسبق التدريب 2 قد استعمل مجموعة نصية فرنسية أحادية اللغة بحجم 1/500 على وجه التقريب من حجم الأساليب المماثلة.

من جانب آخر، أصبح المحول المولد مسبق التدريب 2 قادرًا على أداء مجموعة متنوعة من المهام التي تتجاوز إنتاج النصوص البسيطة نظرًا لاتساع مجموعة البيانات والتقنية الخاصة به: الإجابة على الأسئلة، والتلخيص، وحتى الترجمة بين اللغات في مجموعة متنوعة من المجالات المحددة، دون أن يتم تعليمه أي شيء يتجاوز كيفية التنبؤ بالكلمة التالية في التسلسل.

ومن ناحية أخرى، كان من المقرر أن يتبع المحول المولد مسبق التدريب 2 المحول المولد مسبق التدريب 3 الذي يحتوي على 175 مليار معلمة، والذي تم الكشف عنه للجمهور في عام 2020 (لم يتم توفير الكود المصدري له مطلقًا). يتم توفير الوصول إلى المحول المولد مسبق التدريب 3 حصريًا من خلال واجهات برمجة التطبيقات التي تقدمها أوبن أيه آي ومايكروسوفت. ثم تبع ذلك لاحقًا المحول المولد مسبق التدريب 4.

علاوةً على ذلك، أحد الأمثلة على التعلم المعمم هو قدرة المحول المولد مسبق التدريب 2 على إجراء الترجمة الآلية بين الفرنسية والإنجليزية، حيث تم تقييم أداء المحول المولد مسبق التدريب 2 لهذه المهمة باستخدام مهام الترجمة دبليو إم تي-14. لم يتضمن مجموعة تدريب المحول المولد مسبق التدريب 2 أي نص فرنسي على وجه التقريب؛ فقد تمت إزالة النص غير الإنجليزي عمدًا أثناء تنظيف مجموعة البيانات قبل التدريب، ونتيجة لذلك، لم يكن متاحًا سوى 10 ميجا بايت من الفرنسية من إجمالي 40000 ميجا بايت المتبقية للنموذج للتعلم منها (أغلبها من الاقتباسات باللغات الأجنبية في المنشورات والمقالات الإنجليزية).

الإصدارات الصغيرة والمتوسطة

ومن جهة أخرى، يتوفر إصداران آخران أصغر حجمًا من المحول المولد مسبق التدريب 2، بما في ذلك الإصدار الصغير بسعة 124 مليون معلمة، والإصدار المتوسط بسعة 355 مليون معلمة. كلاهما متاح للتنزيل من هجينج فيس.

القيود والإصدار الجزئي

من جهة ثانية، في حين تم إتاحة نماذج أوبن أيه آي السابقة للجمهور على الفور، رفضت أوبن أيه آي في البداية إصدارًا عامًا لرمز مصدر المحول المولد مسبق التدريب 2 عند الإعلان عنه في فبراير، مشيرة إلى خطر الاستخدام الضار؛ تم السماح بالوصول المحدود إلى النموذج (أي واجهة تسمح بالإدخال وتوفر الإخراج، وليس رمز المصدر نفسه) لمنافذ الصحافة المحددة عند الإعلان. كان أحد المبررات الشائعة هو أنه نظرًا لأن النص المُولَّد كان جديدًا تمامًا في العادة، فقد يستعمله مرسلي البريد العشوائي للتهرب من المرشحات الآلية؛ وقد أظهرت أوبن أيه آي إصدارًا من المحول المولد مسبق التدريب 2 مُعَدَّلًا بدقة «لتوليد عدد لا نهائي من المراجعات الإيجابية – أو السلبية – للمنتجات».

من جانب آخر، ومع ذلك، كان الرأي منقسما. زعمت مقالة نُشرت في فبراير 2019 في ذا فيرج أن التهديد الذي يشكله المحول المولد مسبق التدريب 2 كان مبالغًا فيه؛ وقالت ، أستاذة في معهد كاليفورنيا للتكنولوجيا ومديرة أبحاث التعلم الآلي في إنفيديا، إنه لا يوجد دليل على أن المحول المولد مسبق التدريب 2 لديه القدرة على تشكيل التهديدات التي وصفها أوبن أيه آي، وأن ما فعلوه كان «عكس الانفتاح»، ووصفت رفضهم إصدار النموذج الكامل بأنه « خبيثى. نشرت قرايدينت رسالة مفتوحة إلى أوبن أيه آي تطلب منهم إصدار النموذج علنًا، ومقارنة التهديد الذي يشكله الذكاء الاصطناعي لتوليد النصوص بالتهديد الذي تشكله المطبعة، وإعطاء فوتوشوب كمثال على «التكنولوجيا التي (لحسن الحظ) لم تدمر المجتمع الحديث على الرغم من قدرتها على إحداث الفوضى»:

وفي هذا الصدد، بعد ثلاثين عامًا، خرج المجتمع سالمًا نسبيًا، رغم بساطة برنامج فوتوشوب وسهولة استخدامه من قِبل طلاب المدارس الثانوية، وانتشاره الواسع الذي يسمح له بامتلاك فعل خاص به. لماذا؟ تحديدًا لأن الجميع يعرف فوتوشوب.

كذلك، وكان هناك مبرر آخر وهو أن المحول المولد مسبق التدريب 2 يمكن استخدامه لتوليد نصوص فاحشة أو عنصرية. حذر باحثون مثل جيريمي هوارد من «التكنولوجيا التي ستملأ تويتر والبريد الإلكتروني والويب بالكامل بنثر معقول الصوت ومناسب للسياق، والذي من شأنه أن يطغى على كل الكلام الآخر ويكون من المستحيل تصفيته». أعلن معهد ألين للذكاء الاصطناعي، ردًا على المحول المولد مسبق التدريب 2، عن أداة للكشف عن «الأخبار العصبية المزيفة».

إصدار 774 إم

ومن جهة أخرى، في حين لم تصدر أوبن أيه آي النموذج المدرب بالكامل أو المجموعات التي تم تدريبها عليها، فإن وصف أساليبها في المنشورات السابقة (والتوفر المجاني للتكنولوجيا الأساسية) جعل من الممكن تكرار المحول المولد مسبق التدريب 2 من قبل الآخرين كبرنامج مجاني؛ تم إصدار أحد هذه النسخ، أوبن جي بي تي-2، في أغسطس 2019، بالتزامن مع إصدار مرخص بحرية من ويب تكست يسمى نص ويب مفتوح . تم تحديد تكاليف الحوسبة السحابية لأوبن جي بي تي-2 بما يقارب 50،000 دولار.

كذلك، في 20 أغسطس 2019، أصدرت أوبن أيه آي نسخة جزئية من المحول المولد مسبق التدريب 2، تحتوي على 774 مليون معلمة (قرابة نصف حجم النموذج الكامل المكون من 1.5 مليار معلمة).

القيود

وفي هذا السياق، في حين تم الإشادة بشكل عام بقدرة المحول المولد مسبق التدريب 2 على توليد مقاطع معقولة من نصوص اللغة الطبيعية، فقد لوحظت عيوبها كذلك، وخاصة عند توليد نصوص أطول من فقرتين؛ قال فوكس «النثر خشن إلى حد ما، وهناك أحيانًا غير مترابط، وتصبح المقالات أقل تماسكًا كلما طالت». وبالمثل، لاحظ موقع ذا فيرج أن العينات الأطول من كتابات المحول المولد مسبق التدريب 2 تميل إلى «الانحراف عن الموضوع» وتفتقر إلى التماسك العام؛ ورأى موقع ذا رجستر أن «الإنسان الذي يقرأها يجب أن يدرك، بعد فترة قصيرة، أن هناك شيئًا ما»، ولاحظ أن «المحول المولد مسبق التدريب 2 لا يجيب على الأسئلة بشكل جيد مثل الأنظمة الأخرى التي تعتمد على الخوارزميات لاستخراج واسترجاع المعلومات».

وفي هذا الصدد، إن نشر المحول المولد مسبق التدريب 2 يتطلب موارد مكثفة؛ حيث أن الإصدار الكامل من النموذج أكبر من خمسة جيجابايت، مما يجعل من الصعب تضمينه محليًا في التطبيقات، ويستهلك كميات كبيرة من ذاكرة الوصول العشوائي. علاوةً على ذلك، فإن تنفيذ تنبؤ واحد «قد يشغل وحدة المعالجة المركزية بنسبة استخدام 100% لعدة دقائق»، وحتى مع معالجة وحدة معالجة الرسومات، «قد يستغرق تنفيذ تنبؤ واحد ثوانٍ». لتخفيف هذه المشاكل، أنشأت شركة هجينج فيس برنامج ديستيلغبت2، باستخدام تقطير المعرفة لإنتاج نموذج أصغر «يسجل بضع نقاط أقل في بعض معايير الجودة»، ولكنه «أصغر بنسبة 33% وأسرع مرتين».

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.