تقطير المعرفة
على سبيل التعريف، في تعلم الآلة، يشير تقطير المعرفة أو تقطير النموذج إلى عملية نقل المعرفة من نموذج كبير إلى نموذج أصغر. بينما تمتلك النماذج الكبيرة (مثل الشبكات العصبية العميقة جدًا أو مجموعات الكثير من النماذج) قدرة معرفية أكبر من النماذج الصغيرة، قد لا يتم استغلال هذه القدرة بالكامل. ويمكن أن يكون تقييم نموذج مكلفًا من الناحية الحوسبية حتى وإن كان يستغل قدرًا قليلًا من قدرته المعرفية. ينقل تقطير المعرفة هو نقل المعرفة من نموذج كبير إلى نموذج أصغر دون فقدان الصلاحية. ونظرًا لأن النماذج الأصغر أقل تكلفة من حيث التقييم، يمكن نشرها على أجهزة أقل قوة (مثل الأجهزة المحمولة ). وتعرض الأقسام التالية جوانب أخرى من الموضوع.
في هذا الإطار، يجب عدم الخلط بين تقطير النموذج وضغط النموذج، حيث يشير ضغط النموذج إلى الأساليب التي تهدف إلى تقليل حجم نموذج كبير نفسه، دون تدريب نموذج جديد. يحافظ ضغط النموذج بشكل عام على بنية النموذج وعدد المعلمات الاسمية، مع تقليل البتات لكل معلمة.
كذلك، تم استخدام تقطير المعرفة بنجاح في عدة تطبيقات لتعلم الآلة مثل كشف الأجسام ، النماذج الصوتية، ومعالجة اللغة الطبيعية. ومؤخرًا، تم تقديمه كذلك إلى الشبكات العصبية الرسومية القابلة للتطبيق على البيانات غير الشبكية.
تاريخ
من جانب آخر، تم ايضًا دراسة فكرة استخدام مخرجات شبكة عصبية واحدة لتدريب شبكة عصبية أخرى تحت تسمية تكوين شبكة المعلم-الطالب. في سنة 1992، تناولت عدة أوراق بحثية الميكانيكا الإحصائية لتكوينات المعلم والطالب باستخدام آلات اللجنة أو كلاهما آلات التكافؤ.
وعلى صعيد آخر، تم نشر مثال مبكر على تقطير الشبكات العصبية بواسطة يورغن شميدهوبر في عام 1991، في مجال الشبكات العصبية المتكررة (RNNs). كانت المشكلة هي التنبؤ بالتسلسل لسلاسل طويلة، أي التعلم العميق. تم حلها بواسطة شبكتين متكررتين RNN. واحدة منهما (الآلة الأوتوماتيكية) توقعت التسلسل، وأخرى (المقسم) توقعت أخطاء الآلة الأوتوماتيكية. في الوقت نفسه، توقعت الآلة الحالات الداخلية للوحدة. بعد أن يتمكن المُؤتمت من التنبؤ بالحالات الداخلية للمُجمِّع بشكل جيد، فإنه يبدأ في إصلاح الأخطاء، وسرعان ما يصبح المُجمِّع قديمًا، مما يترك شبكة RNN واحدة فقط في النهاية.
ومن ناحية أخرى، تم تسمية ضغط معرفة عدة نماذج في شبكة عصبية واحدة بضغط النموذج في سنة 2006، تم تحقيق الضغط معرفة النماذج المتعددة في شبكة عصبية واحدة بضغط النموذج: تم تحقيق الضغط من خلال تدريب نموذج أصغر على كميات كبيرة من البيانات الزائفة الموسومة بواسطة تجميع عالي الأداء، مع تحسين مطابقة لوجيت للنموذج المضغوط مع لوجيت المجموعة. قدمت طبعة الأولية لتقطير المعرفة لـ جيفري هينتون وآخرون (2015) المفهوم وأظهرت بعض النتائج التي تم التوصل إليها في مهمة تصنيف الصور.
المراجع
في هذا الإطار، منهجية ذات الصلة هي ضغط النموذج أو تقليم ، حيث يتم تقليل حجم الشبكة المدربة. تم القيام بذلك لأول مرة في عام 1965 بواسطة أليكسي إيفاخنينكو وفالنتين لابا في الاتحاد السوفييتي (1965). تم تدريب شبكاتهم العميقة طبقة بطبقة من خلال تحليل الانحدار. تم تقليم الوحدات الخفية الزائدة باستخدام مجموعة تحقق منفصلة. تشمل طرق ضغط الشبكات العصبية الأخرى تقليل الوزن المتحيز وتَلف الدِماغ الأمثل.
كذلك، يرتبط تقطير المعرفة كذلك بمفهوم الاستنساخ السلوكي الذي ناقشه فاراز تورابي وآخرون.
حذف بعض المعلمات ذات الأهمية الأقل
وعلى صعيد آخر، حذف المعامل يعني تثبيت المعامل عند الصفر. يتم تعريف "أهمية" المعامل كــ ، حيث إن هي دالة الخسارة. يمكن حساب المشتقة الثانية يمكن حسابها عن طريق الانتشار الخلفي من الدرجة الثانية.
وفي السياق ذاته، الفكرة وراء تلف الدماغ الأمثل هي تقريب دالة الخسارة في جوار المعامل الأمثل عن طريق توسعة تايلور التوسع: أين ، لأن أمثل، ويتم تجاهل المشتقات المتقاطعة لتوفير الحساب. وبذلك، تقارب أهمية المعامل الزيادة في الخسارة إذا تم حذف ذلك المعامل.
الصياغة الرياضية
وفي هذا السياق، في هذا السياق، تؤدي درجة الحرارة العالية إلى زيادة الإنتروبيا في المخرجات، مما توفير المزيد من المعلومات للتعلم للنموذج المقطر مقارنة بالأهداف الصعبة، وفي نفس الوقت تقليل تباين التدرج بين السجلات المختلفة، وبالتالي السماح بمعدل تعلم أعلى.
في هذا الإطار، إذا كانت الحقيقة الأساسية مُتوفرة لمجموعة النقل، يُمكن تَقوية العملية مِنْ خلال إضافة الإنتروبي المتقاطع إلى دالة الخسارة بين الناتج من النموذج المقطر المحسوب باستخدام ، والعلامة المعروفة
وفي هذا السياق، بالنظر إلى نموذج كبير كدالة للمتغير المتجه ، تم تدريبها لمهمة تصنيف محددة، فإن الطبقة النهائية للشبكة عادةً ما تكون طبقة سوفت ماكس على الشكل التالي:
في هذا الإطار، حيث يتم وزن مكون الخسارة المتعلق بالنموذج الكبير بعامل لأنه مع زيادة درجة الحرارة، يتغير تدرج الخسارة بالنسبة لأوزان النموذج بعامل .
ومن ناحية أخرى، حَيث إن هو درجة الحرارة، وهي معلمة يتم ضبطها على 1 لـ softmax القياسية. يقوم عامل softmax بتحويل قيم logit إلى الاحتمالات الزائفة: إذ تُؤدي القيم الأعلى لدرجة الحرارة إلى توليد توزيعات أكثر ليونة من الاحتمالات الزائفة بين فئات المخرجات. يتكون تقطير المعرفة من تدريب شبكة أصغر، تُسمى النموذج المقطر، على مجموعة بيانات تُسمى مجموعة النقل (وهي مختلفة عن مجموعة البيانات المستعملة لتدريب النموذج الكبير) باستخدام دالة الخسارة المعروفة باسم الانتروبيا المتقاطعة بين مخرجات النموذج المقطر ومخرجات النموذج الكبير لنفس السجل (أو متوسط المخرجات الفردية، إذا كان النموذج الكبير عبارة عن تجميع)، باستخدام قيمة مرتفعة لدرجة حرارة سوفت ماكس في كلا النَمُوذجِين
العلاقة مع ضغط النموذج
وفي هذا الصدد، تحت افتراض أن قيم اللوجيتات لها متوسط صفري، من الممكن إظهار أن ضغط النموذج هو حالة خاصة من تقطير المعرفة. يُعطى تدرج خسارة تقطير المعرفة بالنسبة للوغيت النموذج المقطر كما يلي:
- خوارزمية "الضرر الدماغي الأمثل"
- خوارزمية تلف الدماغ الأمثل (OBD) هي كما يلي:
- قم بذلك حتى يتم الوصول إلى المستوى المطلوب من الندرة أو الأداء:
- قم بتدريب الشبكة (باستخدام طرق مثل الانتشار الخلفي) حتى يتم الحصول على حل معقول
- حساب الأهمية لكل معلمة
علاوةً على ذلك، وبمُوجب فَرضية المُتوسط الصفري تُصبح ، وهي مُشتَقة مِنْ ، أي أن الخسارة تعادل مطابقة قيم لوغيتات للنمُوذجين، كَما هو الحال في ضغط النموذج.
وفي هذا السياق، حيث إن هي قيم اللوجيتات للنموذج الكبير. للقيم الكبيرة لـ يمكن تقريب ذلك كالتالي:
طُرق
من جهة ثانية، يجب أن يتم نقل المعرفة من نموذج كبير إلى نموذج صغير بطريقة ما تُعلم الأخير دون فقدان الصلاحية. إذا تم تدريب كلا النموذجين على نفس البيانات، فقد لا يمتلك النموذج الأصغر القدرة الكافية لتعلم تمثيل معرفي موجز مقارنة بالنموذج الكبير. ومع ذلك، يتم ترميز بعض المعلومات حول التمثيل معرفي الموجز في الاحتمالات الزائفة تُسند إلى مخرجاته: عندما يتنبأ النموذج بشكل صحيح بفئة معينة، فإنه يُعطي قيمة كبيرة لمتغير الخرج المقابل لتلك الفئة، وقيمًا أصغر لبقية متغيرات الخرج. توزيع القيم بين المخرجات لسجل معين يوفر معلومات حول كيفية تمثيل النموذج الكبير للمعرفة. لذلك، يمكن تحقيق هدف النشر الاقتصادي لنموذج صالح من خلال تدريب النموذج الكبير فقط على البيانات، مستفيدًا من قدرته الأفضل على تعلم تمثيلات معرفية موجزة، ثم تقطير هذه المعرفة في النموذج الأصغر، من خلال تدريبه على تعلم الناتج الناعم للنموذج الكبير.
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟