تعلم متحد

طوبولوجيا الشبكة

وفي السياق ذاته، يمكن تغيير الطريقة التي يتم بها تجميع المخرجات المحلية الإحصائية والطريقة التي تتواصل بها العقد مع بعضها البعض من النموذج المركزي الموضح في القسم السابق. يؤدي ذلك إلى مجموعة متنوعة من مناهج التعليم الموحدة: مثلًا لا يوجد خادم مركزي للتنسيق ، أو اتصال عشوائي.

كذلك، بمجرد اختيار هيكل شبكة العقدة ، يمكن للمرء التحكم في المعلمات المختلفة لعملية التعلم المتحدة (في مقابل المعلمات الفائقة لنموذج التعلم الآلي) لتحسين التعلم :

وفي السياق ذاته، على وجه الخصوص ، تعد الشبكات الموزعة الخالية من أوركسترا أحد الاختلافات المهمة. في هذه الحالة ، لا يوجد خادم مركزي يرسل استعلامات إلى العقد المحلية ويجمع النماذج المحلية. ترسل كل عقدة محلية مخرجاتها إلى عدة أخريات تم اختيارها عشوائيًا ، والتي تجمع نتائجها محليًا. هذا يقيد عدد المعاملات ، وبالتالي تقليل وقت التدريب وتكلفة الحوسبة في بعض الأحيان.

التدريب التكراري

علاوةً على ذلك، بالنسبة للتكرارات المتعددة لما يسمى بجولات التعلم الموحدة ، يتم تنفيذ الخطوات التالية:

عدد جولات التعلم الموحدة : ت

• إجمالي عدد العقد المستعملة في العملية : ك
• جزء من العقد المستعملة في كل تكرار لكل عقدة : ج
• حجم الدفعة المحلية المستعملة في كل تكرار التعلم : ب
• يمكن كذلك استخدام المعلمات الأخرى المعتمدة على النموذج ، مثل :
• عدد مرات التكرار للتدريب المحلي قبل التجميع : ن

اختلافات التعلم الموحد

وعلى صعيد آخر، في هذا القسم ، نتابع عرض التعلم الفعال في التواصل للشبكات العميقة من البيانات اللامركزية ،

• لوصف الاستراتيجيات الموحدة ، دعونا نقدم بعض الرموز:
• nk: عدد عينات البيانات المتاحة أثناء التدريب للعميل k ؛
• wkt: متجه وزن النموذج على العميل k ، في الجولة t المتحدة ؛
• l (w، b): دالة الخسارة بالنسبة للأوزان w و batch؛
• ك : إجمالي عدد العملاء ؛
• ك : فهرس العملاء ؛
• E : عدد العصور المحلية ؛

معدل التعلم المحلي : η

في هذا الإطار، يجب تحسين هذه المعلمات بحسب قيود تطبيق التعلم الآلي (مثلًا ، قوة الحوسبة المتاحة والذاكرة المتاحة وعرض النطاق الترددي ). مثلًا ، يؤدي اختيار عشوائي لعدد C محدود من العقد لكل تكرار إلى تقليل تكلفة الحوسبة وقد يحول دون التداخل الزائد ، بنفس الطريقة التي يمكن أن يؤدي بها انخفاض تدرج مؤشر ستوكاستيك إلى تقليل التداخل الزائد .

نتيجة

خوارزميات المعلمات العليا

من جانب آخر، عندما يتم استيفاء معيار إنهاء محدد مسبقًا (مثلًا العدد الأقصى للجولات أو دقة محلية أعلى من بعض الهدف) ، يطلب الخادم المركزي نهاية عملية التدريب التكراري. يحتوي الخادم المركزي على نموذج قوي تم تدريبه على مصادر متعددة للبيانات غير المتجانسة.

ترتيب

من جانب آخر، يطلب الخادم المركزي العقد المحددة للخضوع لتدريب النموذج على بياناته المحلية بطريقة محددة مسبقًا (مثلًا بالنسبة لبعض تحديثات الدُفعات الخاصة بأصل التدرج اللوني ).

الخصائص الرئيسية

ومن جهة أخرى، يتم اختيار نموذج إحصائي (مثلًا ، الانحدار الخطي ، والشبكة العصبية ، وتعزيز ) لتدريبهم على العقد المحلية وتهيئته. يتم تنشيط العقد وانتظر الخادم المركزي لإعطاء مهام الحساب.

وفي هذا الصدد، لضمان أداء مهمة جيد لنموذج تعليمي مركزي نهائي ، يعتمد التعليم الموحد على عملية تكرارية مقسمة إلى مجموعة ذرية من تفاعلات خادم العميل تعرف باسم جولة التعلم الموحدة. تتكون كل جولة من هذه العملية في نقل حالة النموذج العالمي الحالي إلى العقد المشاركة ، وتدريب النماذج المحلية على هذه العقد المحلية لإنتاج مجموعة من تحديثات النماذج المحتملة في كل عقدة ، ثم تجميع هذه التحديثات المحلية ومعالجتها في تحديث عالمي واحد و تطبيقه على النموذج العالمي.

ومن ناحية أخرى، في المنهجية الموضحة أدناه ، نستعمل خادمًا مركزيًا لهذا التجميع ، في حين أن العقد المحلية تقوم بتدريب محلي بحسب أوامر الخادم المركزي. ومع ذلك ، فإن الاستراتيجيات الأخرى تؤدي إلى نفس النتائج بدون خوادم مركزية ، في نهج الند للند ، باستخدام منهجيات القيل والقال

التقارير

علاوةً على ذلك، تقوم كل عقدة بإرجاع تحديثات النموذج الإضافي المكتسبة محليًا إلى الخادم المركزي. يقوم الخادم المركزي بتجميع جميع النتائج وتخزين النموذج الجديد. كما أنه يعالج حالات الفشل (مثلًا ، فقد الاتصال بعقدة أثناء التدريب). يعود النظام إلى مرحلة الاختيار.

تعريف

في هذا الإطار، قد تستعمل خوارزميات التعلم الموحدة خادمًا مركزيًا ينظم الخطوات المختلفة للخوارزمية ويعمل كساعة مرجعية ، أو قد يكون نظيرًا إلى نظير ، حيث لا يوجد مثل هذا الخادم المركزي. في الحالة غير النظير للنظير ، يمكن تقسيم عملية التعلم الموحدة في جولات متعددة ، كل منها يتكون من 4 خطوات عامة.

وفي هذا الصدد، يكمن الاختلاف الرئيسي بين التعلم الموحد والتعلم الموزع في الافتراضات المقدمة حول خصائص مجموعات البيانات المحلية ، حيث أن التعلم الموزع يهدف في الأصل إلى موازاة القوة الحاسوبية حيث يهدف التعليم الموحد في الأصل إلى التدريب على مجموعات البيانات غير المتجانسة. بينما يهدف التعليم الموزع كذلك إلى تدريب نموذج واحد على خوادم متعددة ، هناك افتراض أساسي شائع هو أن مجموعات البيانات المحلية يتم توزيعها بشكل متماثل وبنفس الحجم على وجه التقريب. لا توجد أي من هذه الفرضيات للتعلم الفدرالي ؛ بدلاً من ذلك ، عادةً ما تكون مجموعات البيانات غير متجانسة وقد تتجاوز أحجامها عدة أوامر من حيث القيمة.

في هذا الإطار، يهدف التعليم الموحد إلى تدريب خوارزمية تعليم الآلة ، مثلًا الشبكات العصبية العميقة ، على مجموعات بيانات محلية متعددة في العقد المحلية دون تبادل عينات البيانات. يتمثل المبدأ العام في تدريب النماذج المحلية على عينات البيانات المحلية وتغيير المعلمات (مثل أوزان شبكة عصبية عميقة) بين هذه النماذج المحلية في بعض الترددات لإنشاء نموذج عالمي

اختيار

علاوةً على ذلك، يتم تحديد جزء صغير من العقد المحلية لبدء التدريب على البيانات المحلية. جميعها يتطلب الحصول على نفس النموذج الإحصائي الحالي من الخادم المركزي. العقد الأخرى تنتظر الجولة التعليميه الموحدة التالية.