إليوثر آي

على سبيل التعريف، إليوثر آي EleutherAI هي مجموعة بحثية غير ربحية في مجال الذكاء الاصطناعي تأسست بجهود شعبية. تُعتبر هذه المجموعة نسخة مفتوحة المصدر من أوبن آي، وقد تم تأسيسها على خادم في تطبيق ديسكورد في شهر يوليو من عام ٢٠٢٠ بواسطة كونور ليهي، وسيد بلاك، وليو جاو، بهدف تنظيم مشروع لإعادة إنتاج نموذج جي بي تي-3. وفي أوائل عام ٢٠٢٣، تم تسجيلها رسميًا كمؤسسة بحثية غير ربحية تحت اسم معهد إليوثر آي.

وفي السياق ذاته، جي بي تي-نيو (١٢٥ مليون، ١.٣ مليار، ٢.٧ مليار): تم إطلاقه في مارس ٢٠٢١، وكان حينها أكبر نموذج لغوي مفتوح المصدر على غرار جي بي تي-٣ في العالم.

وعلى صعيد آخر، جي بي تي-نيو إكس (٢٠ مليار): تم إطلاقه في فبراير ٢٠٢٢، وكان وقتها أكبر نموذج لغوي مفتوح المصدر في العالم.

وفي هذا الصدد، بيثيا Pythia (١٣ مليار): بينما ركزت النماذج السابقة على التوسيع في الحجم لتقليص الفجوة مع النماذج المغلقة مثل جي بي تي-٣، اتجهت مجموعة نماذج بيثيا إلى مسار مختلف. فقد صُممت بيثيا لتسهيل البحث العلمي في قدرات وآليات تعلم النماذج اللغوية الضخمة. وتضم بيثيا ١٥٤ نقطة تحقق تدريبية جزئية، وبيانات تدريب عامة بالكامل، وإمكانية إعادة إنتاج ترتيب التدريب بدقة، مما يتيح البحث في موضوعات مثل التحقق من التدريب، والتحيزات الاجتماعية، والاستظهار، وغيرها

كذلك، يرتبط أبرز أبحاث إليوثر آي بعملها في تدريب نماذج لغوية ضخمة مفتوحة المصدر مستوحاة من نموذج جي بي تي - ٣ الخاص بأوبن آي. سلسلة نماذج "جي بي تي-نيو" التي طورتها إليوثر آي شملت نماذج تحتوي على ١٢٥ مليون، ١.٣ مليار، ٢.٧ مليار، ٦ مليارات، و٢٠ مليار مُعامِل.

في هذا الإطار، جي بي تي-جاي (٦ مليارات): تم إطلاقه في مارس ٢٠٢١، وكان كذلك أكبر نموذج لغوي مفتوح المصدر على نمط جي بي تي-٣ في ذلك الوقت.