جي بي تي-جي

التطبيقات

علاوةً على ذلك، يتوفر نموذج جي بي تي-جي غير المضبوط على الموقع الإلكتروني الرسمي لشركة إليوثر آي، وهو متاح كذلك من خلال خادم تريتون إنفرنس الخاص بشركة إنفيديا، ومتوفر على موقع إن إل بي كلاود الإلكتروني. تقدم شركة سيريبراس وخدمات أمازون ويب خدمات لضبط نموذج جي بي تي-جي بدقة لتمكينه من آداء مهام خاصة بالشركة، كما تقدم شركة غرافكور خدمات الضبط الدقيق والاستضافة كذلك لنموذج جي بي تي-جي غير المضبوط، فضلًا عن استضافة النماذج المضبوطة بدقة بعد إنتاجها. وتقدم شركة كورويف خدمات الاستضافة لنموذج جي بي تي-جي غير المضبوط وكذلك لنماذج جي بي تي-جي المضبوطة بدقة.

وعلى صعيد آخر، حظيت شركة إليوثر آي بإشادة من الكثير من الشركات والمؤسسات والمواقع الإلترونية وخدمات وعلى رأسها سيريبراس، وجي بي تي ديمو، وإن إل بي كلاود، وداتابريكس لجعلها نموذج جي بي تي-جي نموذجا مفتوح المصدر، وعادةً ما يُشار إلى كونه مفتوح المصدر كميزة رئيسية عند اختيار النموذج المُراد استخدامه.

علاوةً على ذلك، أصدرت شركة داتابريكس في مارس (آذار) 2023 نموذج دوللي، وهو نموذج مرخص برخصة أباتشي، ويعتمد على اتباع التعليمات. أنشئ نموذج دوللي من خلال الضبط الدقيق لنموذج جي بي تي-جي باستخدام مجموعة بيانات لاما. ويُعد نموذجا سيغورد وغينجي-جي بي 6 بي المملوكين لشركة نوفيل أيه آي نسختين مُعدّلتين من نموذج جي بي تي-جي. كما يوفران خدمات ضبط دقيقة إضافية لإنتاج واستضافة نماذج مخصصة.

البنية

من جهة ثانية، استعمل جي بي تي-جي الانتباه الكثيف بدلاً من الانتباه المُتفرق الفعال المُستعمل في المحول المولد مسبق التدريب 3.

من جانب آخر، يحتوي نموذج جي بي تي-جي على 6 مليار مُعاملًا، وهو محول قريب الشبه بنموذج المحول المولد مسبق التدريب 3، إذ يُعتبر مُحوِّلًا انحداريًا ذاتيًا، يعتمد على مُفكِّك التشفير فقط كما هو الحال في المحول المولد مسبق التدريب 3، كما أنّه مُصمَّم لحل مهام معالجة اللغة الطبيعية من خلال التنبؤ بكيفية استرسال نص ما. ومع هذا فإن نموذج جي بي تي-جي يختلف عن المحول المولد مسبق التدريب 3 في ثلاثة جوانب رئيسية، وهي:

وفي السياق ذاته، استعمل نموذج جي بي تي-جي تضمينات موضعية دوارة، والتي وُجد أنها طريقة مُتفوقة لحقن معلومات الموضع في المُحوِّلات.

إضافةً إلى ذلك، يحتوي نموذج جي بي تي-جي، بالإضافة غلى ذلك، على 28 طبقة مُحوِّل و16 رأس انتباه. يبلغ حجم مُفرداته 50257 رمزًا، وهو نفس حجم مُفردات المحول المولد مسبق التدريب 2، كما يبلغ حجم نافذة السياق له 2048 رمزًا. دُرب نموذج جي بي تي-جي على مجموعة كومة البيانات، باستخدام مكتبة محول الشبكة في جوجل جاكس للتعامل مع مخطط التوازي.

وعلى صعيد آخر، حُسبت الشبكة العصبية للانتباه والتغذية الأمامية بالتوازي أثناء التدريب، مما جعل محول جي بي تي-جي يتمتع بكفاءة أكبر.

الأداء

وفي السياق ذاته، صُمم جي بي تي-جي لتوليد النصوص باللغة الإنجليزية فقط من خلال موجه، ولم يُصمم لترجمة أو توليد نصوص بلغات أخرى، أو لتحسين الأداء دون ضبط دقيق للنموذج أولًا لآداء مهمة محددة. وعلى الرغم من ذلك، فإن جي بي تي-جي يعمل بشكل جيد في مهام الترجمة حتى بدون ضبط دقيق. يُقدم جي بي تي-جي في حال عدم الضبط أداءًا يُضاهي أداء نموذج كوري من المحول المولد مسبق التدريب 3، والذي يحتوي على 6.7 مليار معامل، في مجموعة متنوعة من المهام، بل يتفوق أداء جي بي تي-جي على أداء نموذج دافنشي من المحول المولد مسبق التدريب 3 المحتوي على 175 مليار معامل في مهام توليد الرموز. وبفضل الضبط الدقيق، يُمكن لنموذج جي بي تي-جي أن يتفوق على نموذج دافنشي غير المضبوط في عدد من المهام. تكمن واحدة من أهم نقاط ضعف جي بي تي-جي في كونه، مثل جميع النماذج اللغوية الكبيرة، غير مصمّمًا لتقديم معلومات دقيقة، ولكنه مبرمج لتوليد النصوص استنادًا إلى الاحتمالات فقط.