مرجع
آخر الزيارات

بلوم (نموذج لغوي)

356 كلمة•0 مشاهدة•🗒️ منذ يوم
باختصار: بلوم هو نموذج لغوي كبير متعدد اللغات ومتاح الوصول. تتناول المقالة قسمين هما «التطوير» و«تعلم عميق».
المحتويات
  1. التطوير
  2. تعلم عميق

قبل الخوض في التفاصيل، بلوم هو نموذج لغوي كبير متعدد اللغات ومتاح الوصول. طورته ورشة بحث بيغ ساينس بوصفه مشروعًا بحثيًا مفتوحًا لبناء نموذج لغوي كبير بطريقة أكثر شفافية من النماذج المغلقة. وتعرض الأقسام التالية جوانب أخرى من الموضوع.

وفي السياق ذاته، يعمل بلوم وفق بنية المحوّل. يستقبل النموذج نصًا داخلًا. يحوله إلى رموز عددية. يمرر الرموز عبر طبقات الانتباه. يتوقع الرمز التالي. يعيد العملية رمزًا بعد رمز. ينتج من هذه السلسلة نصًا جديدًا. بلغ حجم النموذج ١٧٦ مليار معلمة، وصمم لتوليد نصوص في ٤٦ لغة طبيعية و١٣ لغة برمجة.

التطوير

وفي هذا السياق، نشأت الفكرة من سؤال عملي داخل ثقافة الذكاء الاصطناعي المفتوح: كيف يمكن تدريب نموذج لغوي كبير بطريقة أقرب إلى العمل العلمي العام؟ بدأت الآلية بجمع النصوص في مجموعة بيانات متعددة اللغات. ثم وثق المشروع مصادرها. ثم نظف البيانات ونظمها. ثم حول النصوص إلى رموز عددية. لاحقًا دخلت الرموز إلى نموذج قائم على التعلم العميق وبنية المحوّل. فحصت طبقات الانتباه علاقات الرموز داخل الجملة. حسب النظام خطأ التوقع. عدل المعلمات. أعاد الدورة مرات كثيرة حتى تحولت اللغة الخام إلى أوزان عددية داخل نموذج قادر على توليد النص.

  • انظر كذلك
  • نموذج لغوي كبير
  • ذكاء اصطناعي مولد
  • هجينج فيس

ومن ناحية أخرى، انتقلت المرحلة الحاسوبية بين مارس ويوليو 2022 إلى فرنسا، حيث تدرب بلوم على الحاسوب الفائق جان زاي. وفرت هذه الجغرافيا بنية حوسبة عامة داخل منظومة بحثية فرنسية تديرها جينسي وإدريس التابعة لـالمركز الوطني الفرنسي للبحث العلمي. تدريب نموذج بهذا الحجم احتاج إلى حاسوب فائق، ومهندسين، وطاقة حسابية كبيرة، ومؤسسة عامة قادرة على إدارة التدريب خارج مختبر تجاري مغلق.

من جانب آخر، اكتمل المسار بإصدار بلوم في 12 يوليو 2022. لم يتميز بلوم بحجمه البالغ 176 مليار معلمة فقط، بل تميز ببنيته الاجتماعية والعلمية كذلك. جمع المشروع تعاونًا دوليًا، وبيانات متعددة اللغات، وبنية تدريب موثقة، وحاسوبًا فائقًا عامًا، ورخصة استخدام مسؤولة. لذلك مثل بلوم حالة بارزة في تاريخ الذكاء الاصطناعي المولد، لأنه جعل بناء النموذج نفسه موضوعًا للشفافية والبحث.

وعلى صعيد آخر، بدأت مسيرة بلوم في مايو 2021، حين ظهرت بيغ ساينس كورشة بحثية دولية امتدت عامًا. قادت هجينج فيس هذه الورشة في ظرف تقني وثقافي كان يناقش صعود النماذج اللغوية الكبيرة وهيمنة الشركات الكبرى على بنائها وبياناتها. شارك في المشروع باحثون ومهندسون من الجامعات والقطاع الخاص، لأن الهدف لم يكن إنتاج نموذج ضخم فقط، بل بناء نموذج يمكن فحص طريقته وبياناته وشيفرته.

تعلم عميق

بايثون (لغة برمجة)

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.