معدل التعلم
المحتويات
تعريفًا بالموضوع، معدل التعلم في التعلم والإحصاء الآلي، معلمة ضبط في خوارزمية التحسين التي تحدد حجم الخطوة في كل تكرار أثناء التحرك نحو الحد الأدنى من دالة الخسارة . نظرًا لأنها تؤثر على مدى تجاوز المعلومات المكتسبة حديثًا المعلومات القديمة، فإنها تمثل مجازًا السرعة التي يتعلم بها «نموذج التعلم الآلي». غالبًا ما يشار إلى معدل التعلم بالحرف η أو α. ونتناول فيما يلي مزيدًا من التفاصيل.
ومن جهة أخرى، في تحديد معدل التعلم، هناك مفاضلة بين معدل التقارب وتجاوز الحد. في حين أن الاتجاه نحو الحد الأدنى يتم تحديده عادة من خلال التدرج اللوني لوظيفة الخسارة، فإن معدل التعلم يحدد حجم الخطوة التي يتم اتخاذها في هذا الاتجاه. سيجعل معدل التعلم المرتفع جدًا قفزة التعلم أعلى من الحد الأدنى، لكن معدل التعلم المنخفض جدًا سيستغرق وقتًا طويلاً للغاية للالتقاء أو التعثر في الحد الأدنى المحلي غير المرغوب فيه.
ومن جهة أخرى، من أجل تحقيق تقارب أسرع، ومنع التذبذبات والتوقف في الحد الأدنى المحلي غير المرغوب فيه، غالبًا ما يتغير معدل التعلم أثناء التدريب إما بحسب جدول معدل التعلم أو باستخدام معدل تعليمي قابل للتكيف. في طريقة نيوتن، يتم تحديد معدل التعلم بشكل أساسي من الانحناء المحلي لوظيفة الخسارة، وذلك باستخدام معكوس المصفوفة الهيسية كحجم الخطوة.
معدل التعلم التكيفي
- انظر كذلك
- انتشار خلفي
- توليف ذاتي
- قراءة متعمقة
- روابط خارجية
في هذا الإطار، تتمثل المشكلة في جداول معدلات التعلم في أنها تعتمد جميعها على معلمات كبيرة يجب اختيارها يدويًا لكل جلسة تعليمية معيّنة وقد تختلف اختلافًا كبيرًا تبعًا للمشكلة المطروحة أو النموذج المستعمل. لمكافحة هذا هناك الكثير من أنواع مختلفة من خوارزميات النسب التدرج التكيفي مثل Adagrad ، Adadelta ، RMSprop ، آدم والتي بنيت بشكل عام في مكتبات التعلم العميق مثل Keras .
جدول معدل التعلم
وفي السياق ذاته، تعمل جداول التعلم القائمة على الخطوة على تغيير معدل التعلم بحسب بعض الخطوات المحددة مسبقًا. يتم تعريف صيغة تطبيق الاضمحلال على النحو التالي:
هو معامل الانحلال.
علاوةً على ذلك، تعمل جداول التعلم القائمة على الوقت على تغيير معدل التعلم اعتمادًا على معدل التعلم في التكرار الزمني السابق. معاملات الانحلال في الصيغة الرياضية لمعدل التعلم هي:
إضافةً إلى ذلك، يغير جدول معدل التعلم معدل التعلم أثناء التعلم وغالبًا ما يتم تغييره بين الحلقات / التكرارات. ويتم ذلك أساسا مع اثنين من المعلمات: الاضمحلال والزخم . هناك الكثير من الجداول الزمنية لمعدلات التعلم المختلفة، لكن الأكثر شيوعًا هي تلك التي تستند إلى الوقت والخطوات الأسية .
أين هو معدل التعلم، هو معامل الاضمحلال و هي خطوة التكرار.
من جهة ثانية، تتشابه جداول التعلم الأسي مع الخطوات المستندة إلى الخطوة، ولكن بدلاً من الخطوات، يتم استخدام دالة الأس المتناقص. الصيغة الرياضية في الاضمحلال هي:
إضافةً إلى ذلك، أين هو معدل التعلم في التكرار ، هو معدل التعلم الأولي، هو مقدار معدل التعلم الذي يجب أن يتغير عند كل قطرة (0.5 يتوافق مع النصف) و يتوافق مع droprate ، أو عدد المرات التي ينبغي أن ينخفض معدل . تقوم دالة floor هنا بإسقاط قيمة مدخلاتها إلى 0 لجميع القيم الأصغر من 1.
علاوةً على ذلك، الزخم هو ايجاد تسوية القيمة عند اقل نقطة لأقل خطأ، يعمل الزخم على تسريع عملية التعلم عندما يتدرج تدرج تكلفة الخطأ في نفس الاتجاه لفترة طويلة وتجنب الحد الادنى المحلي عن طريق تجاوز العثرات الصغيره. يتم التحكم في الزخم بواسطة المعاملات المتطورة أو مقاييس تشعبية.
ومن ناحية أخرى، الاضمحلال : يعمل الاضمحلال على تسوية التعلم وتجنب التذبذبات الناتجة، وهو الموقف الناتج عن ثبوت معدل التعلم ويتم التحكم به بواسطة المعاملات المتطورة لمقياس تشعبي (hyperparameter).
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟