تم النشر اليوم [dadate] | معدل التعلم

قراءة متعمقة

Géron، Aurélien (2017). "Gradient Descent". Hands-On Machine Learning with Scikit-Learn and TensorFlow. O'Reilly. ص.113–124. ISBN:978-1-4919-6229-9. Plagianakos، V. P.؛ Magoulas، G. D.؛ Vrahatis، M. N. (2001). "Learning Rate Adaptation in Stochastic Gradient Descent". Advances in Convex Analysis and Global Optimization. Kluwer. ص.433–444. ISBN:0-7923-6942-4.

جدول معدل التعلم

يغير جدول معدل التعلم معدل التعلم أثناء التعلم وغالبًا ما يتم تغييره بين الحلقات / التكرارات. ويتم ذلك أساسا مع اثنين من المعلمات: الاضمحلال والزخم . هناك العديد من الجداول الزمنية لمعدلات التعلم المختلفة، لكن الأكثر شيوعًا هي تلك التي تستند إلى الوقت والخطوات الأسية . الاضمحلال: يعمل الاضمحلال على تسوية التعلم وتجنب التذبذبات الناتجة، وهو الموقف الناتج عن ثبوت معدل التعلم ويتم التحكم به بواسطة المعاملات المتطورة لمقياس تشعبي (hyperparameter). الزخم هو ايجاد تسوية القيمة عند اقل نقطة لأقل خطأ، يعمل الزخم على تسريع عملية التعلم عندما يتدرج تدرج تكلفة الخطأ في نفس الاتجاه لفترة طويلة وتجنب الحد الادنى المحلي عن طريق تجاوز العثرات الصغيره. يتم التحكم في الزخم بواسطة المعاملات المتطورة أو مقاييس تشعبية. تعمل جداول التعلم القائمة على الوقت على تغيير معدل التعلم اعتمادًا على معدل التعلم في التكرار الزمني السابق. معاملات الانحلال في الصيغة الرياضية لمعدل التعلم هي: η n + 1 = η n 1 + d n {\displaystyle \eta _{n+1}={\frac {\eta _{n}}{1+dn}}} أين η {\displaystyle \eta } هو معدل التعلم، d {\displaystyle d} هو معامل الاضمحلال و n n هي خطوة التكرار. تعمل جداول التعلم القائمة على الخطوة على تغيير معدل التعلم وفقًا لبعض الخطوات المحددة مسبقًا. يتم تعريف صيغة تطبيق الاضمحلال على النحو التالي: η n = η 0 d f l o o r ( 1 + n r ) {\displaystyle \eta _{n}=\eta _{0}d^{floor({\frac {1+n}{r}})}} أين η n {\displaystyle \eta _{n}} هو معدل التعلم في التكرار n n ، η 0 {\displaystyle \eta _{0}} هو معدل التعلم الأولي، d {\displaystyle d} هو مقدار معدل التعلم الذي يجب أن يتغير عند كل قطرة (0.5 يتوافق مع النصف) و r r يتوافق مع droprate ، أو عدد المرات التي ينبغي أن ينخفض معدل . تقوم دالة floor هنا بإسقاط قيمة مدخلاتها إلى 0 لجميع القيم الأصغر من 1. تتشابه جداول التعلم الأسي مع الخطوات المستندة إلى الخطوة، ولكن بدلاً من الخطوات، يتم استخدام دالة الأس المتناقص. الصيغة الرياضية في الاضمحلال هي: η n = η 0 e − d n {\displaystyle \eta _{n}=\eta _{0}e^{-dn}} d {\displaystyle d} هو معامل الانحلال.

معدل التعلم التكيفي

تتمثل المشكلة في جداول معدلات التعلم في أنها تعتمد جميعها على معلمات كبيرة يجب اختيارها يدويًا لكل جلسة تعليمية معيّنة وقد تختلف اختلافًا كبيرًا تبعًا للمشكلة المطروحة أو النموذج المستخدم. لمكافحة هذا هناك العديد من أنواع مختلفة من خوارزميات النسب التدرج التكيفي مثل Adagrad ، Adadelta ، RMSprop ، آدم والتي بنيت بشكل عام في مكتبات التعلم العميق مثل Keras .

شرح مبسط

في التعلم والإحصاء الآلي، يعد معدل التعلم (بالإنجليزية: learning rate)‏ معلمة ضبط في خوارزمية التحسين التي تحدد حجم الخطوة في كل تكرار أثناء التحرك نحو الحد الأدنى من دالة الخسارة .[1] نظرًا لأنها تؤثر على مدى تجاوز المعلومات المكتسبة حديثًا المعلومات القديمة، فإنها تمثل مجازًا السرعة التي يتعلم بها «نموذج التعلم الآلي».[2] غالبًا ما يشار إلى معدل التعلم بالحرف η أو α.
لم يعلق احد حتى الآن .. كن اول من يعلق بالضغط هنا