مرجع
آخر الزيارات

بيرت (نموذج لغوي)

584 كلمة•0 مشاهدة•🗒️ منذ يوم
باختصار: بيرت أو تمثيلات المشفر ثنائية الاتجاه من المحولات هو نموذج لغوي قدمه باحثون في جوجل في أكتوبر 2018. تجد هنا «التضمين» و«البُنيَة».
المحتويات
  1. التضمين
  2. البُنيَة

قبل الخوض في التفاصيل، بيرت أو تمثيلات المشفر ثنائية الاتجاه من المحولات هو نموذج لغوي قدمه باحثون في جوجل في أكتوبر 2018. يتعلم تمثيل النص كسلسلة من المتجهات باستخدام التعلم الذاتي. يستعمل بنية المحول المشفر فقط. يشتهر بتحسينه الكبير مقارنة بالنماذج السابقة الحديثة، وكمثال مبكر على نموذج لغوي كبير. اعتبارًا من عام 2020، أصبح بيرت معيارًا أساسيًا في تجارب معالجة اللغات الطبيعية (NLP). ونتناول فيما يلي مزيدًا من التفاصيل.

ومن جهة أخرى، يتم تدريب بيرت عن طريق التنبؤ بالرموز المقنعة والتنبؤ بالجملة التالية. نتيجة لعملية التدريب هذه، يتعلم بيرت تمثيلات سياقية كامنة للرموز في سياقها، على غرار ELMo والمحول المولد مسبق التدريب 2. وجد تطبيقات للعديد من مهام معالجة اللغات الطبيعية، مثل حل الإحالة المرجعية وحل الاشتراك اللفظي. يُعد خطوة تطورية مقارنة بـ ELMo، وأدى إلى دراسة "علم بيرت"، الذي يحاول تفسير ما يتعلمه بيرت.

وفي السياق ذاته، تم تنفيذ بيرت في الأصل باللغة الإنجليزية بحجمين للنموذج، BERTBASE (110 مليون معلمة) و BERTLARGE (340 مليون معلمة). تم تدريب كلاهما على مجموعة تورنتو للكتب (800 مليون كلمة) و ويكيبيديا الإنجليزية (2500 مليون كلمة) تم إصدار الأوزان على غيت هاب. في 11 مارس 2020، تم إصدار 24 نموذجًا أصغر، أصغرها BERTTINY مع 4 ملايين معلمة فقط.

التضمين

وفي هذا الصدد، يتم جمع متجهات التضمين الثلاثة معًا لتمثيل تمثيل الرمز الأولي كدالة لهذه الأجزاء الثلاثة من المعلومات. بعد التضمين، يتم تطبيع تمثيل المتجه باستخدام عملية LayerNorm، وإخراج متجه ذي 768 بُعدًا لكل رمز إدخال. لاحقًا، يتم تمرير متجهات التمثيل للأمام عبر 12 كتلة تشفير محول، ويتم فك ترميزها مرة أخرى إلى فضاء مفردات ذي 30000 بُعدًا باستخدام طبقة تحويل خطي أساسية.

من جانب آخر، نوع المقطع: باستخدام مفردات من 0 أو 1 فقط، تنتج طبقة التضمين هذه متجهًا كثيفًا بناءً على ما إذا كان الرمز ينتمي إلى مقطع النص الأول أو الثاني في هذا الإدخال. بمعنى آخر، جميع الرموز من النوع 1 هي جميع الرموز التي تظهر بعد الرمز الخاص [SEP]. جميع الرموز السابقة هي من النوع 0.

وفي هذا الصدد، الموضع: تعتمد تضمينات الموضع على موضع الرمز في التسلسل. يستعمل BERT تضمينات موضع مطلقة، حيث يتم تعيين كل موضع في التسلسل إلى متجه ذي قيمة حقيقية. يتكون كل بُعد من المتجه من دالة جيبية تأخذ الموضع في التسلسل كمدخل.

ومن ناحية أخرى، نوع الرمز: نوع الرمز هو طبقة تضمين قياسية، تحول متجهًا ساخنًا إلى متجه كثيف بناءً على نوع الرمز الخاص به.

ومن جهة أخرى، يصف هذا القسم التضمين المستعمل بواسطة BERTBASE. الآخر، BERTLARGE، مشابه، ولكنه أكبر. المُجزئ الخاص بـ BERT هو WordPiece ، وهي استراتيجية للكلمات الفرعية مثل ترميز أزواج البايت. حجم مفرداته 30000، وأي رمز لا يظهر في مفرداته يتم استبداله بـ [UNK] ("غير معروف"). الطبقة الأولى هي طبقة التضمين، التي تحتوي على ثلاثة مكونات: تضمينات نوع الرمز، وتضمينات الموضع، وتضمينات نوع المقطع.

البُنيَة

إضافةً إلى ذلك، رأس المهمة ضروري للتدريب المسبق، ولكنه غالبًا ما يكون غير ضروري لما يسمى "مهام المصب"، مثل الإجابة على الأسئلة أو تصنيف المشاعر. بدلاً من ذلك، يزيل المرء رأس المهمة ويستبدله بوحدة مهيأة حديثًا مناسبة للمهمة، ويقوم بضبط الوحدة الجديدة بدقة. يتم تغذية تمثيل المتجه الكامن للنموذج مباشرة في هذه الوحدة الجديدة، مما يسمح بنقل التعلم بكفاءة في أخذ العينات.

علاوةً على ذلك، رأس المهمة: تحول هذه الوحدة متجهات التمثيل النهائية إلى رموز مشفرة مرة أخرى عن طريق إنتاج توزيع احتمالي متوقع لأنواع الرموز. يمكن اعتباره بمثابة وحدة فك ترميز بسيطة، تقوم بفك ترميز التمثيل الكامن إلى أنواع الرموز، أو كـ "طبقة إلغاء تضمين".

وفي هذا الصدد، لبيرت بُنية تتكون من محول "مشفر فقط" (encoder ). اختصاراً، يتكون بيرت من 4 وحدات:

إضافةً إلى ذلك، المشفر: مجموعة من كتل المحولات مع الانتباه الذاتي، ولكن بدون إخفاء سببي.

كذلك، المُجزئ: تحول هذه الوحدة جزءًا من النص الإنجليزي إلى سلسلة من الأعداد الصحيحة تسمى بالرموز (tokens).

إضافةً إلى ذلك، التضمين: تحول هذه الوحدة سلسلة الرموز إلى مصفوفة من المتجهات ذات القيم الحقيقية التي تمثل الرموز. يمثل تحويل أنواع الرموز المنفصلة إلى فضاء إقليدي منخفض الأبعاد.

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.