مرجع
آخر الزيارات

المحول المولد مسبق التدريب 1

230 كلمة•0 مشاهدة•🗒️ منذ يومين
باختصار: المُحول المُولِّد مسبق التدريب 1 أو جي بي تي -1 كان أول نموذج لغوي ضخم من تطوير أوبن أيه آي، وذلك بعد ابتكار شركة جوجل لهندسة "المحوّل" في سنة 2017.

بدايةً، المُحول المُولِّد مسبق التدريب 1 أو جي بي تي -1 كان أول نموذج لغوي ضخم من تطوير أوبن أيه آي، وذلك بعد ابتكار شركة جوجل لهندسة "المحوّل" في سنة 2017.

كذلك، مرحلة التدريب المسبق التوليدي (غير الخاضعة للإشراف): يُستعمل فيها هدف نمذجة اللغة لضبط المعاملات الأولية للنموذج.

وفي السياق ذاته، على النقيض من ذلك، اعتمد نموذج جي بي تي على نهج شبه خاضع للإشراف يتضمن مرحلتين:

وفي هذا السياق، مرحلة التخصيص التمييزي (خاضعة للإشراف): يتم فيها تكييف هذه المعاملات لتناسب مهمة محددة.

وفي هذا الصدد، حتى ذلك الوقت، كانت أفضل نماذج المعالجة اللغوية الطبيعية (NLP) المعتمدة على الشبكات العصبية تعتمد بشكل أساسي على التعلم تحت الإشراف من خلال كميات ضخمة من البيانات المصنفة يدويًا. هذا الاعتماد على التعلم تحت الإشراف كان يحد من إمكانية استخدام مجموعات بيانات غير مشروحة بشكل جيد، كما جعله تدريب النماذج الكبيرة مكلفًا جدًا ويستغرق وقتًا طويلاً. كما أن الكثير من اللغات (مثل السواحيلية أو الهايتية) يصعب ترجمتها وفهمها باستخدام هذه النماذج بسبب نقص النصوص المتوفرة لبناء قواعد بيانات نصية.

إضافةً إلى ذلك، في يونيو 2018، نشرت أوبن أيه آي ورقة بحثية بعنوان "تحسين فهم اللغة من خلال التدريب المُسبق التوليدي"، قدمت فيها ذلك النموذج الأول فضلًا عن المفهوم العام لفكرة المحوّل المُدرَّب مسبقًا للتوليد.

وعلى صعيد آخر، استخدام بنية "المحوّل" بدلًا من الأساليب السابقة المعتمدة على الشبكات العصبية التكرارية (RNN) المدعّمة بالانتباه، أعطى نماذج جي بي تي قدرة على ذاكرة منظمة بشكل أفضل من تلك التي توفرها الآليات التكرارية، مما أدى إلى أداء قوي ومرن في الانتقال بين المهام المختلفة.

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.