مرجع
آخر الزيارات

خليط الخبراء

926 كلمة•0 مشاهدة•🗒️ منذ يوم
باختصار: خليط الخبراء أو تَوْلِيفَة الخبراء (إم أو إي) (بالإنجليزية: Mixture of experts) هو أسلوب التعلم الآلي حيث تستعمل شبكات الخبراء المتعددة (المتعلمين) لتقسيم مساحة المشكلة إلى مناطق متجانسة. تجد هنا «النظرية الأساسية»، «صيغ مختلفة» و«شبكة ميتا-باي» ضمن 5 أقسام.
المحتويات
  1. النظرية الأساسية
  2. صيغ مختلفة
  3. شبكة ميتا-باي
  4. خليط الخبراء المحليين التكييفي
  5. خليط الخبراء الهرمي

تعريفًا بالموضوع، خليط الخبراء أو تَوْلِيفَة الخبراء (إم أو إي) (بالإنجليزية: Mixture of experts) هو أسلوب التعلم الآلي حيث تستعمل شبكات الخبراء المتعددة (المتعلمين) لتقسيم مساحة المشكلة إلى مناطق متجانسة. وهو يختلف عن تقنيات المجموعة حيث أنه بالنسبة لأسلوب مزيج من الخبراء، عادةً ما يشغل نموذج واحد أو عدد قليل من نماذج الخبراء لكل مدخل، بينما في تقنيات المجموعة (أي التعلم الجماعي)، تشغل جميع النماذج على جميع المدخلات. وتعرض الأقسام التالية جوانب أخرى من الموضوع.

النظرية الأساسية

وفي السياق ذاته، يدرب كل من الخبراء ودالة التثقيل عبر تدنية دالة خسارة محددة، وذلك بالانحدار المتدرج عمومًا. توجد حرية كبيرة في اختيار الشكل الدقيق للخبراء، ودالة التثقيل، ودالة الخسارة.

ومن ناحية أخرى، دالة التثقيل (تعرف كذلك باسم دالة التوجيه) ، تأخذ الدخل وتنتج متجهة من المخرجات . قد يكون هذا توزيعا احتماليًا أو لا يكون، ولكن في كلتا الحالتين، تكون مدخلاته غير سالبة.

وفي هذا الصدد، عند إعطاء دخل ، يُنتج خليط الخبراء مخرجا واحدا عبر دمج بحسب الأوزان بطريقة ما، وعادة ما تكون عبر الدالة التالية: .

الخبراء ، يأخذ كل منهم الدخل نفسه، وينتج المخرجات .

كذلك، هي مجموعة المُعاملات. المعامِل مخصص لدالة التثقيل. والمُعامِلات مخصصة للخبراء.

في هذا الإطار، يتكون خليط الخبراء دائمًا من المكونات التالية، ولكنها تنفذ وتدمج بطرائق مختلفة بحسب المشكلة المراد حلها:

صيغ مختلفة

كذلك، اقترحت إحدى الأوراق البحثية خليط السوفت ماكس لنمذجة اللغة ذاتية الانحدار. تحديدا، لننظر في نموذج لغوي يتنبأ بالكلمة التالية عند إعطائه نصا سابقا . تُرمِّز الشبكة النص إلى مُتَّجِه ، وتتنبأ بالتوزيع الاحتمالي للكلمة التالية كـ لمصفوفة تضمين .

وفي هذا السياق، أظهرت الورقة الأصلية فعالية هذا النهج لـلشبكات العصبية التكرارية. ووجد لاحقا أنه يعمل مع المحولات كذلك.

وفي السياق ذاته، يمكن للمرء استخدام خبراء مختلفين عن التوزيعات الغوسية. مثلًا، يمكن استخدام توزيع لابلاس، أو توزيع ستيودنت الاحتمالي. وبالنسبة ل التصنيف الثنائي، اقتُرِح كذلك خبراء الانحدار اللوجستي، مع:

من جهة ثانية، حيث هي معاملات قابلة للتعلم. عُمم هذا لاحقا للتصنيف متعدد الفئات، مع خبراء .

.

من جهة ثانية، عادة ما يكون اختيار دالة التوجيه هو الدالة الأسية المُطبَّعة (دالة سوفت ماكس). بخلاف ذلك، قد يستعمل التوجيه التوزيعات الغوسية و

وفي هذا السياق، تحديدا، خلال خطوة التوقع، يُسنَد "عبء" تفسير كل نقطة بيانات إلى الخبراء، وخلال خطوة التعظيم، يُدرَّب الخبراء على تحسين التفسيرات التي حصلوا على عبء عال بشأنها، بينما تُدرَّب (دالة) التوجيه على تحسين إسنادها للعبء. يمكن أن يتقارب هذا أسرع من التصاعد المتدرج على (دالة) الإمكان اللغارتمي.

وفي السياق ذاته، في خليط السوفت ماكس، يخرج النموذج متجِهات متعددة ، ويتنبأ بالكلمة التالية كالعلاقة التالية ، حيث هي توزيع احتمالي ناتج عن عملية "خطي-سوفت ماكس" تجرى على تنشيطات العصبونات الخفية داخل النموذج.

وفي السياق ذاته، بدلا من إجراء جمع مُثقَّل لجميع الخبراء، في خليط الخبراء الصارم (Hard MoE)، يختار الخبير الأعلى تصنيفا فقط. أي أن، . يمكن لهذا تسريع وقت التدريب والاستدلال.

وفي السياق ذاته، يمكن للخبراء استخدام أشكال أعم من توزيعات غوسية متعددة المتغيرات. مثلًا، اقترح (جوردان وجاكوبس) ، حيث هي معاملات قابلة للتعلم. بعبارة أخرى، يتعلم كل خبير إجراء الانحدار الخطي، مع تقدير ارتياب قابل للتعلم.

كذلك، خليط الخبراء، لكونه مشابهًا لنموذج الخليط الغوسي، يمكن كذلك تدريبه باستخدام خوارزمية تعظيم التوقع، تماما مثل نماذج الخليط الغوسي.

شبكة ميتا-باي

في هذا الإطار، في منشورهما الأصلي، كانا يحلان مشكلة تصنيف الصوتيات في إشارة كلامية لستة متحدثين يابانيين مختلفين، سيدتان وأربعة رجال. قاما بتدريب 6 خبراء، كل منهم عبارة عن "شبكة عصبية ذات تأخير زمني" (وهي بالأساس شبكة التفافية متعددة الطبقات فوق

من جانب آخر، شبكة ميتا-باي، التي أوردها هامبشاير ووايبل، تستعمل كمخرج. يُدرَّب النموذج عبر إجراء الانحدار المتدرج على متوسط مربع الخطأ . يمكن للخبراء أن يكونوا أي دوال اختيارية.

من جهة ثانية، وجدا أن خليط الخبراء الناتج خصص 5 خبراء لخمسة من المتحدثين، لكن المتحدث السادس (رجل) لم يحظ بخبير مخصص له، وبدلا من ذلك، صُنِّف صوته عبر توليفة خطية من الخبراء المخصصين للمتحدثين الرجال الثلاثة الآخرين.

).

خليط الخبراء المحليين التكييفي

دالة التثقيل هي دالة خطي-سوفت ماكس:

كذلك، الأثر المشترك هو أن الخبراء يصبحون متخصصين: لنفترض أن خبيرين كلاهما جيد في التنبؤ بنوع معين من الدخل، ولكن أحدهما أفضل بقليل، ستتعلم دالة التثقيل في نهاية المطاف تفضيل الخبير الأفضل. وبعد حدوث ذلك، يعجز الخبير الأقل جودة عن الحصول على إشارة تدرج عالية، ويصبح أداؤه أسوأ في التنبؤ بهذا النوع من الدخل. وعلى العكس من ذلك، يمكن للخبير الأقل جودة أن يصبح أفضل في التنبؤ بأنواع أخرى من الدخل، وينجذب تدريجيا نحو منطقة أخرى. لهذا تأثير تغذية راجعة إيجابية، مما يدفع كل خبير للابتعاد عن الآخرين والتكفل بمنطقة محلية بمفرده (ومن هنا جاءت تسمية "الخبراء المحليين").

من جهة ثانية، يستعمل خليط الخبراء المحليين التكييفي نموذج الخليط الغوسي. يتنبأ كل خبير ببساطة بتوزيع غوسي، ويتجاهل الدخل تماما. تحديدا، يتنبأ الخبير رقم بأن المخرج هو ، حيث هي معامل قابل للتعلم.

والتدرج لدالة التثقيل هو:

إضافةً إلى ذلك، يُعدَل الخبير درجة ليجعل تنبؤه أقرب إلى ، ولكن مقدار التغيير يتناسب طرديا مع . لهذا الأمر تفسير بايزي. عند إعطاء الدخل ، فإن الاحتمال المسبق لكون الخبير هو الخبير الصحيح هو ، وتُمثِّل دالة الإمكان للدليل . وعليه، فإن هو الاحتمال البعدي للخبير ، وبذلك يكون معدل التغير للخبير متناسبا مع احتماله البعدي.

من جهة ثانية، لكل زوج دخل-خرج ، تُعدَّل دالة التثقيل لزيادة الوزن المعطى لجميع الخبراء الذين كان أداؤهم أعلى من المتوسط، وتقليل الوزن المعطى للخبراء الذين كان أداؤهم أدنى من المتوسط. وهذا يحفز دالة التثقيل على تعلم انتقاء الخبراء الذين يقدمون التنبؤات الصحيحة لكل دخل فقط.

من جانب آخر، بعبارة أخرى، يُطلَب من الخبراء الذين يتبين (بعد تقييم النتيجة) أنهم كانوا الخيار الجيد للاستشارة، أن يتعلموا من المثال. أما الخبراء الذين يتبين أنهم لم يكونوا كذلك، فيتركون دون تعديل.

كذلك، يتنبأ خليط الخبراء بأن المخرج مُوزَّع بحسب ـ دالة كثافة الاحتمال اللغارتمة:

وعلى صعيد آخر، يُدرَّب (النموذج) عبر تقدير الإمكان الأقصى، أي، التصاعد المتدرج على . التدرج للخبير هو:

خليط الخبراء الهرمي

وفي السياق ذاته، خليط الخبراء الهرمي يستعمل مستويات متعددة من التوجيه في بنية شجرية. كل عملية توجيه هي توزيع احتمالي على المستوى التالي من التوجيهات، ويتواجد الخبراء على "العقد" الورقية للشجرة. هذا الخليط يشبه أشجار القرار.

من جانب آخر، مثلًا، خليط خبراء هرمي ذو مستويين سيكون لديه دالة توجيه من الرتبة الأولى ، ودوال توجيه من الرتبة الثانية ، وخبراء . ويكون التنبؤ الإجمالي حينها .

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.