مرجع
آخر الزيارات

الانحدار العشوائي التدرجي

2٬907 كلمة•0 مشاهدة•🗒️ منذ 3 أيام
باختصار: الانحدار العشوائي التدرّجي ، وغالبًا ما يُختصر بـ SGD، هو طريقة تكرارية تُستعمل لتحسين دالة الخسارة التي تمتلك خصائص نعومة دالة مناسبة (مثل دالة قابلة للاشتقاق أو مشتقة شبهية). تجد هنا «طرق الرتبة الثانية»، «التاريخ» و«آر إم إس بروب» ضمن 20 قسماً.
المحتويات
  1. طرق الرتبة الثانية
  2. التاريخ
  3. آر إم إس بروب
  4. تدرجات محسنة بأسلوب نيستيروف: NAdam، FASFA
  5. التوسيط
  6. البحث التراجعي عن معدل التعلم
  7. أدام
  8. التحديثات الضمنية
  9. الامتدادات والمتغيرات
  10. الخلفية
  11. استخدام معيار اللانهاية: AdaMax
  12. طريقة تكرارية
  13. الانحدار الخطي
  14. الزخم
  15. التقريبات في الزمن المتصل
  16. التطبيقات البارزة
  17. نزول التدرج العشوائي مع الاعتماد على الإشارة
  18. أداجراد
  19. حيث
  20. المتغيرات

في البداية، الانحدار العشوائي التدرّجي ، وغالبًا ما يُختصر بـ SGD، هو طريقة تكرارية تُستعمل لتحسين دالة الخسارة التي تمتلك خصائص نعومة دالة مناسبة (مثل دالة قابلة للاشتقاق أو مشتقة شبهية). ويمكن اعتباره على وجه التقريب عشوائيًا لخوارزمية أصل التدرج، حيث يتم استبدال التدرج الحقيقي (المحسوب من مجموعة بيانات كاملة) بتقدير له يُحسب من مجموعة فرعية عشوائية من البيانات. وتحديدًا في مسائل التحسين ذات الأبعاد العالية، يقلل هذا من التعقيد الحسابي العالي جدًا، محققًا تكرارات أسرع على حساب تقليل سرعة التقارب. وفيما يلي تفاصيل أوسع عن ذلك.

في هذا الإطار، يمكن تتبع الفكرة الأساسية وراء التقريب العشوائي إلى خوارزمية روبنز-مونرو في خمسينيات القرن العشرين. واليوم، أصبح الانحدار العشوائي التدرّجي أداة تحسين مهمة في تعلم الآلة.

طرق الرتبة الثانية

حيث هو النموذج التنبؤي (مثل شبكة عصبونية اصطناعية),

وعلى صعيد آخر، يشكل التناظر العشوائي لخوارزمية نيوتن–رافسون القياسية (طريقة "الرتبة الثانية") شكلاً مثاليًا أو شبه مثالي من التحسين التكراري في إعداد التقريب العشوائي. تم تطوير طريقة تستعمل قياسات مباشرة لمصفوفة هيسية لمجاميع دالة المخاطر التجريبية بواسطة بيرد، هانسن، نوكدال وسينغر. لكن تحديد مصفوفات هيسية المطلوبة مباشرةً قد لا يكون عملياً. توجد طرق عملية ونظرية سليمة لنسخ الرتبة الثانية من SGD لا تتطلب معلومات هيسية مباشرة بواسطة سبال وآخرين. (طريقة أقل كفاءة تعتمد على الفروقات المنتهية بدلاً من التشويش المتزامن مقدمة من روبيرت.) طريقة أخرى لتقريب مصفوفة هيسية هي استبدالها بمصفوفة معلومات فيشر، التي تحول التدرج العادي إلى تدرج طبيعي. هذه الطرق التي لا تتطلب معلومات هيسية مباشرة تعتمد إما على قيم المجاميع في دالة المخاطر التجريبية أو على قيم تدرجات المجاميع (أي مدخلات SGD). على وجه الخصوص، يمكن تحقيق المثالية من الرتبة الثانية بشكل متقارب بدون حساب مباشر لمصفوفات هيسية المجاميع في دالة المخاطر. عندما يكون الهدف هو خسارة المربعات الصغرى غير الخطية

وفي هذا الصدد، يمكن استغلال هيكل الهدف لتقدير معلومات الرتبة الثانية باستخدام التدرجات فقط. الطرق الناتجة بسيطة وغالبًا فعالة.

التاريخ

إضافةً إلى ذلك، بحلول الثمانينيات، كان الزخم في تعلم الآلة قد أُدخل مسبقاً، وتم دمجه في تقنيات تحسين التدرج العشوائي عام 1986. ومع ذلك، كانت هذه الأساليب تفترض ثوابت المعلمات الفائقة. أي أن معدل التعلم ومعامل الزخم ثابتان. في العقد الثاني من القرن الحادي والعشرين، ظهرت أساليب تكيفية لتطبيق التدرج العشوائي مع معدلات تعلم مخصصة لكل معلمة، مثل خوارزمية AdaGrad ("التدرج التكيفي") عام 2011 وخوارزمية RMSprop ("جذر متوسط التربيع للتدرج") عام 2012. وفي عام 2014، ظهرت خوارزمية Adam ("تقدير العزم التكيفي") التي دمجت خصائص RMSprop والزخم؛ وقد طُورت منها لاحقاً عدة تحسينات وفروع مثل Adadelta وAdagrad وAdamW وAdamax.

من جانب آخر، تم وصف الانتشار الخلفي لأول مرة عام 1986، باستخدام التدرج العشوائي لتحسين معلمات الشبكات العصبية ذات الطبقات المتعددة بكفاءة. وسرعان ما تم تطوير تحسين آخر: التدرج باستخدام دفعات صغيرة ، حيث يتم استبدال العينة الواحدة بدفعات صغيرة من البيانات. في سنة 1997، تم استكشاف الفوائد العملية من التفرعة التي توفرها هذه الدفعات الصغيرة لأول مرة، مما مهد الطريق لتحسينات فعالة في تعلم الآلة. وحتى عام 2023، لا يزال هذا الأسلوب (الدفعات الصغيرة) هو السائد في تدريب الشبكات العصبية، لأنه يجمع بين مزايا التدرج العشوائي وخوارزمية أصل التدرج التقليدية.

ومن جهة أخرى، في سنة 1951، قدم هربرت روبنز وساتون مونرو أوائل طرق التقريب العشوائي، والتي سبقت خوارزمية التدرج العشوائي. وبناءً على هذا العمل، نشر جاك كيفر ويعقوب وولفوفيتز بعد عام واحد خوارزمية كيفر–وولفوفيتز، وهي خوارزمية تحسين شبيهة جداً بخوارزمية التدرج العشوائي، مستعملين الفرق المحدود كطريقة تقريبية للمشتقة. لاحقاً في خمسينيات القرن العشرين، استعمل فرانك روزنبلات خوارزمية التدرج العشوائي لتحسين أداء بيرسيبترون الخاص به، مظهراً أول تطبيق عملي لها على الشبكات العصبية.

وعلى صعيد آخر، في عام 2023، تهيمن خوارزميات التحسين المستمدة من Adam على أساليب التحسين في تعلم الآلة. وتعد مكتبتا TensorFlow وPyTorch أشهر مكتبتين في هذا المجال، حيث تدعمان في الغالب خوارزميات من نوع Adam، فضلًا عن الخوارزميات السابقة مثل RMSprop والتدرج العشوائي التقليدي. كما تدعم PyTorch جزئياً خوارزمية L-BFGS، وهي طريقة تعتمد على البحث الخطي، لكن فقط في الحالات التي تستعمل جهازاً واحداً ولا تتضمن مجموعات من المعلمات.

آر إم إس بروب

تُحسب المتوسطات المتحركة بتربيع القيم كما يلي:

وفي هذا السياق، أظهر آر إم إس بروب تكيفًا جيدًا لمعدل التعلم في تطبيقات متعددة، ويمكن اعتباره تعميماً لطريقة آربروب وقادر على العمل مع دفعات صغيرة بدلاً من دفعات كاملة فقط.

من جانب آخر، آر إم إس بروب (اختصارًا لـ Root Mean Square Propagation) هو طريقة اخترعها جيمس مارتينز وإيليا سوتسكيفر عام 2012، حين كانا طلاب دكتوراه في مجموعة جيفري هينتون، حيث يُكيف معدل التعلم لكل معامل كما في أداجراد. الفكرة هي قسمة معدل التعلم لوزن ما على متوسط متحرك لمقدار التدرجات الأخيرة لذلك الوزن.

وعلى صعيد آخر، حيث هو عامل النسيان. تستعير آر إم إس بروب فكرة تخزين مجموع التربيعات التاريخية من أداجراد، لكن مع نسيان تدريجي لتجنب مشكلة تناقص معدل التعلم في أداجراد مع مشاكل غير محدبة.

يتم تحديث المعاملات كما يلي:

تدرجات محسنة بأسلوب نيستيروف: NAdam، FASFA

إضافةً إلى ذلك، تفسيرات متنوعة للمعلومات من الرتبة الثانية: Powerpropagation وAdaSqrt.

التوسيط

من جانب آخر، عند الانتهاء من عملية التحسين، يحل هذا المتجه المتوسط مكان .

ومن ناحية أخرى، "الانحدار التدرجي العشوائي المتوسط"، الذي اخترعه كل من روبيرت وبولياك بشكل مستقل في أواخر الثمانينيات، هو انحدار تدرجي عشوائي عادي يقوم بتسجيل متوسط متجه المعلمات على مدى الزمن. أي أن التحديث يكون كما في الانحدار التدرجي العشوائي العادي، لكن الخوارزمية تحتفظ كذلك بـ

البحث التراجعي عن معدل التعلم

ومن جهة أخرى، البحث التراجعي عن معدل التعلم هو متغير آخر لانحدار التدرج. جميع المعلومات التالية مستمدة من الرابط المذكور. يعتمد على شرط يعرف بشرط أرميجو–غولدشتاين. كلا الطريقتين تسمحان بتغيير معدلات التعلم في كل تكرار؛ لكن طريقة التغيير تختلف. يستعمل البحث التراجعي تقييمات الدالة للتحقق من شرط أرميجو، ومن حيث المبدأ يمكن أن يكون التكرار في الخوارزمية لتحديد معدلات التعلم طويلاً وغير معروف مسبقًا. بالمقابل، لا يحتاج الانحدار العشوائي التكيفي إلى تكرار لتحديد معدلات التعلم. ومن ناحية أخرى، لا يضمن الانحدار العشوائي التكيفي خاصية "الانخفاض" التي يتمتع بها البحث التراجعي، وهي أن لكل n. إذا كان تدرج دالة التكلفة مستمرًا ليبشيتزياً مع ثابت ليبشيتز L، وتم اختيار معدل التعلم من رتبة 1/L، فإن النسخة القياسية من SGD هي حالة خاصة من البحث التراجعي.

أدام

ومن جهة أخرى، أدام (اختصارًا لـ Adaptive Moment Estimation) هو تحديث عام 2014 لمحسّن RMSProp يجمعه مع الخاصية الرئيسية لطريقة الزخم.

ومن ناحية أخرى، على الرغم من أن الدليل الأولي على تقارب آدم كان ناقصًا، وكشفت تحليلات لاحقة أنه لا يتقارب لكل الأهداف المحدبة، إلا أن آدم لا يزال يستعمل على نطاق واسع نظرًا لأدائه القوي في الممارسة.

لتحديث المعامل في التكرار مع دالة الخسارة :

من جهة ثانية، نظرًا لأن المتوسطات المتحركة و تبدأ من الصفر، يحدث انحياز نحو الصفر في البدايات، لذا تُستعمل عوامل تصحيح لتعويض هذا الانحياز والحصول على تقديرات أفضل.

وفي هذا السياق، حيث عدد صغير (مثلاً ) لمنع القسمة على صفر، و (مثلاً 0.9) و (مثلاً 0.999) عوامل النسيان للتدرجات واللحظات الثانية على التوالي. العمليات تجرى عنصرًا عنصرًا.

وعلى صعيد آخر، يستعمل متوسطات متحركة ذات نسيان أسي لكل من التدرجات واللحظات الثانية للتدرجات.

التحديثات الضمنية

من جهة ثانية، كمثال، لنأخذ حالة المربعات الصغرى مع سمات ومشاهدات . نرغب في حل:

إضافةً إلى ذلك، كما ذُكر سابقًا، فإن الانحدار التدرجي العشوائي التقليدي حساس عمومًا لمعدل التعلم . فالتقارب السريع يتطلب معدلات تعلم كبيرة، لكن هذا قد يسبب عدم استقرار عددي. يمكن حل هذه المشكلة إلى حد كبير من خلال استخدام "تحديثات ضمنية"، حيث يُقيّم التدرج العشوائي عند التكرار التالي بدلًا من الحالي:

عندئذ، يكون ISGD مكافئًا لـ:

وفي هذا السياق، على الرغم من أن الحل المغلق للتحديثات الضمنية ممكن فقط في حالة المربعات الصغرى، إلا أنه يمكن تنفيذ هذه الطريقة بكفاءة في مجموعة واسعة من النماذج. تحديدًا، لنفترض أن تعتمد على فقط من خلال توليفة خطية مع الميزات ، بحيث يمكننا كتابة ، حيث دالة حقيقية وقد تعتمد على ولكن ليس على إلا من خلال . تندرج المربعات الصغرى ضمن هذه القاعدة، وكذلك الانحدار اللوجستي، وأغلب النماذج الخطية المعممة. مثلًا، في المربعات الصغرى، ، وفي الانحدار اللوجستي ، حيث هي الدالة اللوجستية. في انحدار بواسون، ، وهكذا.

وفي هذا السياق، حيث يشير إلى الضرب الداخلي. لاحظ أن يمكن أن يحتوي على "1" كأول عنصر لإدراج الحد الثابت. يعمل الانحدار التدرجي العشوائي التقليدي كالتالي:

إضافةً إلى ذلك، حيث يُؤخذ بشكل عشوائي منتظم بين 1 و . على الرغم من أن التقارب النظري لهذه الطريقة يحدث في ظل افتراضات معتدلة نسبيًا، إلا أنها قد تكون غير مستقرة عمليًا. خصوصًا إذا تم تعيين بشكل خاطئ بحيث أن له قيم ذاتية كبيرة نسبيًا، فقد تتباعد الطريقة عدديًا خلال بضع تكرارات. في المقابل، يمكن حل طريقة "الانحدار التدرجي العشوائي الضمني" (ISGD) بشكل مغلق كالتالي:

ومن جهة أخرى، في مثل هذه الحالات، يتم تنفيذ ISGD ببساطة كما يلي. لنعرّف ، حيث قيمة عددية.

وفي هذا السياق، هذه الطريقة ستظل مستقرة عدديًا على وجه التقريب لجميع قيم ، لأن معدل التعلم أصبح الآن مُطَبّعًا. هذه المقارنة بين الطريقة التقليدية وطريقة التحديثات الضمنية في مشكلة المربعات الصغرى مشابهة جدًا للمقارنة بين مرشح المربعات الصغرى الأقل ومرشح إل إم إس المطبع.

من جانب آخر، يمكن إيجاد عامل القياس باستخدام طريقة التنصيف، حيث أن الدالة تناقصية في أغلب النماذج المنتظمة، مثل النماذج الخطية المعممة المذكورة، وبالتالي فإن حدود البحث لـ هي .

إضافةً إلى ذلك، هذه المعادلة ضمنية لأن يظهر على كلا الجانبين. وهي تمثل صيغة تصادفية من طريقة التدرج القربي لأنها يمكن أن تُكتب كذلك كالتالي:

الامتدادات والمتغيرات

وفي هذا الصدد، امتداد بسيط من الناحية المفاهيمية للانحدار التدرجي العشوائي يجعل معدل التعلم دالة تناقصية لعدد التكرارات ، مما يعطي ما يُعرف بـ"جدول معدل التعلم"، بحيث تؤدي التكرارات الأولى إلى تغييرات كبيرة في المعلمات، بينما تقوم التكرارات اللاحقة بالتنقيح فقط. وقد عُرفت هذه الجداول منذ عمل ماكوين على خوارزمية تصنيفية. إرشادات عملية لاختيار حجم الخطوة في عدة متغيرات من SGD قدمها سبال.

وفي هذا الصدد، تم اقتراح الكثير من التحسينات على خوارزمية الانحدار التدرجي العشوائي الأساسية واستخدامها. في مجال تعلم الآلة خصوصًا، اعتُرف بأن الحاجة إلى تعيين معدل التعلم (حجم الخطوة) تمثل مشكلة. فإذا كان هذا المعامل كبيرًا جدًا فقد يؤدي إلى تباعد الخوارزمية، وإذا كان صغيرًا جدًا فسيجعلها بطيئة في التقارب.

الخلفية

علاوةً على ذلك، لكن في حالات أخرى، قد يتطلب تقييم مجموع التدرجات حسابات مكلفة لجميع الدوال الجزئية. وعندما تكون مجموعة التدريب ضخمة ولا توجد صيغ بسيطة، يصبح حساب مجموع التدرجات مكلفًا جدًا، لأن كل تدرج يتطلب حساب تدرج كل دالة جزئية. ولتوفير التكلفة الحسابية في كل تكرار، يقوم الانحدار العشوائي التدرّجي بعملية اعتيان لمجموعة فرعية من الدوال الجزئية في كل خطوة. ويُعد هذا فعالًا جدًا في حالة مشكلات تعلم الآلة على نطاق واسع.

من جانب آخر، في الإحصاء الكلاسيكي، تظهر مسائل تقليل المجموع في أسلوب مربعات دنيا وفي تقدير حسب القيمة العليا لدالة الإمكان (عندما تكون المشاهدات مستقلة). وتُعرف الفئة العامة من المقدّرات التي تنتج عن تقليل هذا النوع من المجاميع باسم مقدر M. ومع ذلك، فقد تم التعرف منذ وقت طويل في مجال الإحصاء على أن اشتراط وجود حد أدنى محلي قد يكون شرطًا مفرطًا في بعض مشكلات تقدير القيمة العليا لدالة الإمكان. ولذلك، غالبًا ما يأخذ المنظّرون المعاصرون في علم الإحصاء بعين الاعتبار نقطة مستقرة في دالة الإمكان (أو النقاط التي تساوي فيها المشتقة الصفر، مثل دالة النتيجة، أو غيرها من معادلات التقدير).

علاوةً على ذلك، حيث إن هو إحصاء معلمي يُراد تقديره من خلال تقليل . وغالبًا ما تكون كل دالة جزئية مرتبطة بـوحدة رصد معينة في مجموعة بيانات (تُستعمل للتدريب).

وفي السياق ذاته، تتناول كل من إحصاء تقدير M وتعلم الآلة مسألة استمثال دالة الخسارة التي تأخذ شكل مجموع:

في هذا الإطار، كما تظهر مسألة تقليل المجموع كذلك في تقليل المخاطر التجريبي، حيث إن تمثل قيمة دالة الخسارة في المثال رقم ، و تمثل المخاطرة التجريبية.

وفي السياق ذاته، عند استخدام خوارزمية خوارزمية أصل التدرج التقليدية (أو "الدفعة الكاملة") لتقليل الدالة أعلاه، فإنها تُجري التكرارات التالية:

من جهة ثانية، في الكثير من الحالات، تكون دوال بسيطة وتُمكّن من تقييم مجموع الدالة وتدرجها بتكلفة منخفضة. مثلًا، في الإحصاء، تسمح الأسر الأسية ذات المعلمة الواحدة بتقييم اقتصادي للدالة والتدرج.

ومن جهة أخرى، حيث ترمز إلى حجم الخطوة (ويُطلق عليه أحيانًا معدل التعلم في تعلم الآلة)، بينما يشير "" إلى تحديث قيمة المتغير في الخوارزمية.

استخدام معيار اللانهاية: AdaMax

من جهة ثانية، AMSGrad، الذي يحسن التقارب مقارنةً بـآدم باستخدام أكبر تربيع للتدرجات السابقة بدلاً من المتوسط الأسي. وAdamX الذي يحسن التقارب أكثر من AMSGrad.

AdamW، الذي يحسن تقنية تلاشي الوزن.

طريقة تكرارية

  • في الشيفرة الكاذبة، يمكن تقديم الانحدار التدرجي العشوائي على النحو التالي:
  • اختر متجهًا ابتدائيًا للمعاملات ومعدل تعلم .
  • كرر حتى يتم الحصول على حد أدنى تقريبي:
  • قم بخلط عينات مجموعة التدريب عشوائيًا.
  • من أجل ، قم بما يلي:

إضافةً إلى ذلك، الحل الوسط بين حساب التدرج الحقيقي والتدرج عند عينة واحدة هو حساب التدرج مقابل أكثر من عينة تدريب واحدة (تُسمى "دفعة صغيرة") في كل خطوة. يمكن أن يؤدي هذا إلى أداء أفضل بكثير من الانحدار التدرجي العشوائي "الحقيقي" كما هو موصوف، لأن الشيفرة يمكن أن تستفيد من مكتبات التوجيه المتجهي بدلاً من حساب كل خطوة على حدة، كما أُظهر لأول مرة في حيث كان يُطلق عليه "خوارزمية التغذية الراجعة في وضع الدفعة". كما أنه قد يؤدي إلى تقارب أكثر سلاسة، لأن التدرج المحسوب في كل خطوة يكون متوسطًا على عدة عينات تدريب.

من جانب آخر، في الانحدار العشوائي التدرجي (أو "عبر الإنترنت")، يتم تقريب التدرج الحقيقي لـ بواسطة تدرج لعينة واحدة:

من جانب آخر، بينما يجتاز الخوارزم مجموعة التدريب، فإنه يُجري التحديث أعلاه لكل عينة تدريب. يمكن إجراء عدة مرات مرور على مجموعة التدريب حتى تتقارب الخوارزمية. وإذا تم ذلك، يمكن خلط البيانات لكل مرور لمنع التكرار. قد تستعمل التطبيقات النموذجية معدل التعلم حتى تتقارب الخوارزمية.

في هذا الإطار، تم تحليل تقارب الانحدار التدرجي العشوائي باستخدام نظريات الاستمثال المحدب والتقريب العشوائي. وباختصار، عندما تنخفض معدل التعلم بمعدل مناسب، وتحت افتراضات بسيطة نسبيًا، فإن الانحدار التدرجي العشوائي يتقارب شبه مؤكد إلى حد أدنى عالمي عندما تكون دالة الهدف دالة محدبة أو دالة شبه محدبة، وإلا فإنه يتقارب شبه مؤكد إلى حد أدنى محلي.

وهذا في الواقع نتيجة نظرية روبينز–زيغموند.

الانحدار الخطي

علاوةً على ذلك، لنفترض أننا نرغب في ملاءمة خط مستقيم لمجموعة تدريب تحتوي على مشاهدات والاستجابات المقدرة المقابلة باستخدام طريقة المربعات الدنيا. دالة الهدف المطلوب تقليلها هي:

إضافةً إلى ذلك، بشكل عام، بالنظر إلى مسألة انحدار خطي ، يتصرف الانحدار التدرجي العشوائي بشكل مختلف عندما (أقل من المطلوب) وعندما (زيادة في المعلمات). في حالة زيادة المعلمات، يتقارب الانحدار التدرجي العشوائي إلى

،

من جهة ثانية، لاحظ أنه في كل تكرار أو خطوة تحديث، يتم حساب التدرج فقط عند نقطة واحدة . وهذا هو الفرق الجوهري بين الانحدار التدرجي العشوائي والانحدار التدرجي المجمع (الدفعي).

علاوةً على ذلك، أي أنه يتقارب إلى حل التقاطع الذي يكون أقرب ما يكون إلى نقطة البدء . هذا صحيح حتى عندما يبقى معدل التعلم ثابتًا. أما في حالة قلة المعلمات، فلا يتقارب الانحدار التدرجي العشوائي إذا بقي معدل التعلم ثابتًا.

ومن ناحية أخرى، السطر الأخير في الشيفرة الكاذبة أعلاه، لهذا المثال المحدد، سيصبح:

الزخم

وفي هذا السياق، يتذكر الانحدار التدرجي العشوائي مع الزخم التحديث في كل تكرار، ويحدد التحديث التالي كـ تركيب خطي من التدرج والتحديث السابق:

إضافةً إلى ذلك، يأتي اسم "الزخم" من تشبيه بزخم الحركة في الفيزياء: حيث يُنظر إلى متجه الوزن كجسيم يسير عبر فضاء المعلمات ويتعرض لتسارع من تدرج الخسارة ("قوة"). على عكس الانحدار التدرجي العشوائي الكلاسيكي، فإنه يميل إلى الاستمرار في نفس الاتجاه، مما يمنع التذبذب. وقد استعمل الزخم بنجاح من قبل علماء الحاسوب في تدريب شبكة عصبونية اصطناعية لعقود عدة.

كذلك، حيث أن الإحصاء المعلمي الذي يقلل يُقدَّر، و هو حجم الخطوة (ويسمى أحيانًا معدل التعلم في التعلم الآلي)، و هو معدل تعلم أُسّي بين 0 و1 يحدد نسبة مساهمة التدرج الحالي والتدرجات السابقة في تغيير الوزن.

مما يؤدي إلى:

وعلى صعيد آخر، في منتصف الثمانينيات، عدّل يوري نيستيروف الطريقة لاستخدام التدرج المتوقع عند النقطة التالية، والطريقة الناتجة التي تسمى "تدرج نيستروف المسرع" استُخدمت أحيانًا في التعلم الآلي في العقد 2010.

وفي السياق ذاته، ترتبط طريقة "الزخم" ارتباطًا وثيقًا بديناميكيات لانجيفين تحت المخمّدة، ويمكن دمجها مع تخمير محاكى.

وعلى صعيد آخر، تشمل الاقتراحات الإضافية "طريقة الزخم" أو "طريقة الكرة الثقيلة"، والتي ظهرت في سياق التعلم الآلي في ورقة بحثية لروميلهارت، جيفري هينتون ورونالد ويليامز حول التعلم بالتراجع العكسي وقد استُعيرت الفكرة من مقال رياضي سوفيتي لبوريس بولياك عام 1964 حول حل المعادلات الدالية.

التقريبات في الزمن المتصل

في هذا الإطار، مع وجود ضجيج عشوائي إضافي. هذا التقريب يكون صالحًا فقط على مدى زمني محدود بالمعنى التالي: لنفترض أن جميع المعاملات ناعمة بما فيه الكفاية. لنفترض و دالة اختبار ناعمة بما فيه الكفاية. حينها، يوجد ثابت بحيث أنه لكل :

من جانب آخر، ونظرًا لأن هذا التقريب لا يلتقط التقلبات العشوائية حول السلوك الوسيط، فقد تم اقتراح حلول لمعادلات تفاضلية تصادفية (SDEs) كأدوات تقريب أكثر دقة. وتحديدًا، فإن حل المعادلة التفاضلية التصادفية التالية:

ومن ناحية أخرى، حيث ترمز إلى التوقع الرياضي بالنسبة للاختيار العشوائي للفهارس في خوارزمية الانحدار التدرجي العشوائي.

من جانب آخر، بالنسبة لقيمة صغيرة لمعدل التعلم ، يمكن اعتبار خوارزمية الانحدار التدرجي العشوائي بمثابة تقريب متقطع للمعادلة التفاضلية العادية لحقل متجهات:

التطبيقات البارزة

في هذا الإطار، يُعد الانحدار العشوائي التدرجي خوارزمية شائعة لتدريب مجموعة واسعة من النماذج في مجال تعلم الآلة، بما في ذلك آلات شعاع الدعم الآلي (الخطية)، والانحدار اللوجستي، والنماذج الرسومية. وعند دمجه مع خوارزمية انتشار خلفي، فإنه يُعد الخوارزمية المعيارية de facto لتدريب الشبكات العصبية الاصطناعية. وقد تم الإبلاغ عن استخدامه كذلك في مجتمع فيزياء الأرض، وتحديدًا في تطبيقات الانعكاس الكامل لشكل الموجة (FWI).

وفي السياق ذاته، يتنافس الانحدار العشوائي التدرجي مع خوارزمية الذاكرة المحدودة BFGS، والتي تُستعمل كذلك على نطاق واسع. وقد استُخدم الانحدار العشوائي التدرجي منذ ستينيات القرن العشرين على الأقل في تدريب نماذج الانحدار الخطي، وكان يُعرف في الأصل باسم ADALINE.

من جهة ثانية، ومن الخوارزميات الأخرى المرتبطة بالانحدار العشوائي التدرجي مرشح المتوسطات الأقل تربيعًا التكيفي.

نزول التدرج العشوائي مع الاعتماد على الإشارة

علاوةً على ذلك، على الرغم من أن تحسينات تعتمد على الإشارة تعود إلى طريقة آربروب المذكورة سابقاً، حاول الباحثون في 2018 تبسيط آدم بإزالة حساب مقدار التدرج العشوائي وأخذ إشارة فقط في الاعتبار.

أداجراد

وفي هذا السياق، يبقى هناك معدل تعلم أساسي ، لكنه يُضرب في عناصر متجه وهو قطر مصفوفة الضرب الخارجي:

وفي السياق ذاته، بشكل غير رسمي، تزيد هذه الطريقة معدل التعلم للمعاملات النادرة وتقلله للمعاملات الأكثر تكراراً. هذه الاستراتيجية تحسن غالباً أداء التقارب مقارنة بالتدرج العشوائي العادي في الحالات التي تكون فيها البيانات والمعاملات متناثرة، مثل معالجة اللغة الطبيعية والتعرف على الصور.

من جانب آخر، بالرغم من تصميمه للاستمثال المحدب، تم تطبيق أداجراد بنجاح في تحسينات غير محدبة.

كذلك، كل عنصر يشكل عامل تعديل لمعدل التعلم للمعامل . حيث أن المقام هو معيار التدرجات السابقة، يتم تخفيف التحديثات الكبيرة ويتم زيادة معدلات التعلم للمعاملات التي تحصل على تحديثات قليلة أو صغيرة.

وعلى صعيد آخر، يخزن هذا المتجه مجموع تربيعات التدرجات التاريخية لكل بُعد ويُحدث بعد كل تكرار. صيغة التحديث هي:

حيث هو التدرج في التكرار . القطر هو:

أو كتعريف فردي لكل معامل:

وفي هذا السياق، أداجراد (اختصاراً لـ "خوارزمية أصل التدرج التكيفية") هو تعديل لخوارزمية التدرج العشوائي مع معدل تعلم خاص بكل معامل، نُشر أول مرة عام 2011.

حيث

وفي السياق ذاته، و يرمز إلى تكامل إيتو بالنسبة إلى حركة براونية، هو تقريب أكثر دقة بالمعنى التالي: يوجد ثابت بحيث أن:

كذلك، ومع ذلك، فإن هذه المعادلة التفاضلية التصادفية تقرب فقط حركة نقطة واحدة من خوارزمية الانحدار التدرجي العشوائي. ولتقريب الجريان العشوائي بالكامل، يجب النظر في معادلات تفاضلية تصادفية تحتوي على ضوضاء لا نهائية الأبعاد.

  • انظر كذلك
  • تعلم الآلة المستمر
  • المراجع
  • قراءات إضافية

،

المتغيرات

كذلك، أدى انتشار آدم إلى ظهور الكثير من المتغيرات والتحسينات. من الأمثلة عليها:

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.