تعلم مراقب

تقليل المخاطر الهيكلية

إضافةً إلى ذلك، مجموعة واسعة من الضرائب وظفت بشكل يتوافق مع تعريفات مختلفة للتعقيد. مثلًا في الحالة التي يكون فيها وظيفة هو دالة خطية من شكل

علاوةً على ذلك، مشكلة تحسين (تمثيل) التعليم بالإشراف  هي العثور على تابع    يقلل من

.

ومن جهة أخرى، هو تابع تنظيم عقوبة شائع الذي يطلق عليه كذلك القاعدة الإقليدية المربعة من الأوزان المعروفة كذلك باسم المبدأ . المبادئئ الأخرى تشمل المبدأ    ، ، المبدأ  ، حيت أن عدد غير-صفري. تابع العقوبة يمثل عادة ب .

إضافةً إلى ذلك، لدى تعقيد الضريبة تفسير بيزياني, في هذه الحالة هو  الاحتمال اللاحق  للتابع .

وفي هذا السياق، يضبط  المقايضة (التوازع) الانحياز-الانحراف . عندما هذا يؤدي إلى تقليل المخاطر التجريبية مع انخفاض التحيز وارتفاع الاتحراف. عندما يكون مقدار   كبير، سوف يكون خوارزمية التعلم ارتفاع الانحياز وانخفاض الانحراف. قيمة يمكن اختيار تجريبيا عبر التصديق المتقطع.

كذلك، يهدف تقليل المخاطر الهيكلية إلى منع الافراط في التناسب عن طريق دمج تنظيم الضريبة في التحسين. تنظيم الضريبة  يمكن أن يعرض على أنه تنفيذ شكل من أشكال أوكام الذي يفضل استخدام توابع بسيطة على الأكثر تعقيدا.

انحياز-الانحراف المقايض

وفي السياق ذاته، أول مسألة هي إيجاد مصالحة (توازن) بين الانحياز والانحراف . تخيل أنه تتوفر لدينا عدد من بيانات التدريب المختلفة ولكن بنفس الجودة. تنحاز خوارزمية التعلم  لمدخل معين إذا تدربت باستخدام مجموعات البيانات بشكل خاطئ بحيث تتنبأ بقيمة الخرج للمدخل بشكل صحيح ولكن الأسلوب خاطئ (يقصد بهذه المشكلة الحفظ المباشر لبيانات الدخل وما يقابلها من الخرج بدون أي تعميم). يكون لخوارزمية التعلم انحراف معال مرتفع معين الإدخال إذا كانت تتنبأ بقيم خرج مختلفة عند استخدام بيانات تدريب مختلفة. خطأ التنبؤ للمصنف المدرب هو وثيق الصلة بمجموع الانحياز والانحراف لخوارزمية التعلم. عموما، هناك علاقة تبادلية بين الانحياز والانحراف. خوارزمية التعلم ذات انحياز منخفض ويجب أن تكون «مرنة» بحيث تناسب البيانات المدخلة. ولكن إذا كانت خوارزمية التعلم  كذلك مرنة تناسب كل  مجموعات بيانات التدريب المختلفة، تكون عالية التباين. التوجه الرئيسي في طرق التعليم بالاشراق هو أن تكون قادرة على ضبط هذه المقايضة بين  الانحياز والانحراف (إما تلقائيا أو من خلال توفير كمية متغيرة-بارامتر-   يمكّن المستعمل من ضبط  الانحياز/ الانحراف)

Learning Classifier Systems

• Minimum message length (شجرة القرار، decision graphs, etc.)
• Multilinear subspace learning
• Naive bayes classifier
• Maximum entropy classifier
• Conditional random field
• Nearest Neighbor Algorithm
• Probably approximately correct learning (PAC) learning
• Ripple down rules, a knowledge acquisition methodology
• Symbolic machine learning algorithms
• Subsymbolic machine learning algorithms

كيف تعمل خوارزميات التعلم تحت إشراف

وفي السياق ذاته، لنفترض أنه لدينا مجموعة أمثلة تدريبة تشمل N عنصر تتوزع بالشکل التالي   حيث أن  هو متجه الخصائص للمثال التدريبي رقم i  والمتغير هو  الوسم المقابل له (أي التصنيف أو قيمة الخرج المطلوبة). خوارزمية التعليم تبحث عن تابع (علاقة رياضية) حيث أن X هو فضاء الدخل و Y هو فضاء الخرج. التابع g هو عنصر من مجموعة التوابع الممكنة G الممكن وجودها بين فضائي الدخل والخرج. هذه المجموعة تسمى بالغالب فضاء الفرضية. في بعض الأحيان  يكون من المناسب  إعادة تبيان التابع g باستخدام تابع إحراز النقاط بشكل مشابه للتابع g بحيث أنه عوضا عن مقدار الوسم يقوم بارجاع مقدار y الذي يملك أكبر مقدار من النقاط. دعنا نستعمل F  لترميز فضاء النقاط.

.

كذلك، هناك نهجين أساسيين اختيار أو : تقليل المخاطر التجريبية و  تقليل المخاطر الهيكلية. يقوم نهج تقليل المخاطر التجريبية بالبحث عن التابع الذي يناسب بيانات التدريب بشكل أفضل. في حين أن  تقليل المخاطر الهيكلية تتضمن تابع ضريبة التي تتحكم بشكل مقايض (متوازن) الانحياز/الانحراف.

وعلى صعيد آخر، الخطر للتابع ويعرف بالخسارة المتوقعة ل . هذا يمكن أن يتم تقديره من بيانات التدريب كما في العلاقة التالية

كذلك، في كلتا الحالتين، فمن المفترض أن تتكون مجموعة التدريب من عينة مستقلة و مثالية التوزيع، . من أجل قياس مدى تناسب التابع مع بيانات التدريب، يتم تعريف تابع الخسارة . للتدريب مثلًا قيمة الخسارة الناتجة من التنبؤ بالمقدار هو .

ومن ناحية أخرى، على الرغم من أن و يمكن أن يكون أي فضاء من التوابع. إلا أن الكثير من خوارزميات التعلم تعتمد النماذج الاحتمالية حيث يأخذ شكل نموذج الاحتمال الشرطي أو يأخذ شكل نموذج الاحتمالات المشتركة . مثلًا، بايز البسيط وتحليل التمايز الخطي  نماذج  تعتمد الاحتمالات المشتركة، بينما الانحدار اللوجستي هو نموذج يعتمد الاحتمال الشرطي.

تعميم التعلم تحت الإشراف

• المناهج والخوارزميات
• Analytical learning
• شبكة عصبونية اصطناعية

من جانب آخر، الإشراف الضعيف: في هذا الإطار قيم الخرج متوفرة فقط في مجموعة فرعية من بيانات التدريب. باقي البيانات غير موسومة (ليس لديها مقادير خرج مقابلة).

وفي السياق ذاته، هناك الكثير من طرق تساعد على تعميم مشكلة التعلم تحت الإشراف:

ومن جهة أخرى، تعلم الترتيب: عندما يكون الدخل مجموعة من الكائنات والخرج المطلوب هو ترتيب هذه الكائنات، عندها سنكون بحاجة كذلك لتطوير الأساليب القياسية للتعامل مع هذه المسألة.

إضافةً إلى ذلك، التنبؤ البنيوي: عندما يكون التنبوء المطلوب  عبارة عن كائن معقد مثل  شجرة التحليل أو رسم البياني  مسمى، عندها سنكون بحاجة إلى توسيع أساليب التعلم القياسية.

كذلك، التعلم النشط: بدلا من افتراض أن كل أمثلة التدريب موجودة في بداية التعلم، تقوم خوارزميات التعلم النشط بجمع أمثلة جديدة بشكل تفاعلي، عادة عن طريق طلب استعلامات من الإنسان المستعمل. في كثير من الأحيان، الاستعلامات تعتمد على البيانات غير المسماة، وهو السيناريو الذي يجمع بين التعلم بالإشراف النصفي والتعلم  النشط.

انتشار خلفي

• Boosting (meta-algorithm)
• Bayesian statistics
• المنطق المعتمد على الحالة
• Decision tree learning
• Inductive logic programming
• Gaussian process regression
• Group method of data handling
• Kernel estimators
• Learning Automata

شعاع الدعم الآلي

• Minimum Complexity Machines (MCM)
• Random Forests
• Ensembles of Classifiers
• مستويات القياس
• Data Pre-processing
• Handling imbalanced datasets
• Statistical relational learning
• Proaftn, a multicriteria classification algorithm
• التطبيقات
• معلوماتية حيوية
• معلوماتية كيميائية
• نماذج العلاقة الكمية بين البنية والفعالية
• استرجاع المعلومات
• استخراج المعلومات
• رؤية حاسوبية
• تعرف ضوئي على الرموز
• بريد إلكتروني مزعج
• تمييز الأنماط
• تعرف على الكلام
• المشاكل العامة
• نظرية التعلم المحوسبة

العوامل الأخرى التي تؤخذ بعين الاعتبار

ومن جهة أخرى، عدم تجانس البيانات. إذا كان متجه الخصائص تتضمن أنواع مختلفة من الخصائص  (متقطعة، متقطعة مرتبة، عددي،  قيم مستمرة)، بعض الخوارزميات هي أسهل لتطبيق أكثر من غيرها. الكثير من الخوارزميات، بما في ذلك شعاع الدعم الآلي، الانحدار الخطي، الانحدار اللوجستي، الشبكات العصبية و  خوارزمية الجار الأقرب   تطلب إدخال خصائص بمقادير عددية وفي مقاييس بنطاقات متشابهة (مثلًا، الفاصلة بين [-1,1]). الطرق التي تستعمل دوال الفاصلة، مثل خوارزمية الجار الأقرب وشعاع الدعم الآلي مع نواة جاوس، تتطلب وجود البيانات متجانسة وبمقاييس عددية متناسبة.  بالمقابل ميزة طريقة أشجار القرار هو أنها تتعامل بسهولة مع البيانات غير المتجانسة.

من جانب آخر، الإطناب (التكرار) في البيانات. إذا كان خصائص الدخل تحتوي على معلومات زائدة عن الحاجة (مثلًا، خصائص بينها ترابط إلى حد كبير-  تواجد مجموعة مقادير إلى جانب المتوسط الحاسبي لها في فضاء الإدخال) بعض خوارزميات التعلم (مثل الانحدار الخطي، الانحدار اللوجستيو المسافة على أساس أساليب) تعمل بشكل سيئ عند وجود عدم الاستقرار العددي في بيانات الدخل (مثلا خصيصة الطول تتراوح بين 1.2 و 2.1 متر، في حين خصيصة الوزن تتراوح بين  30 و 110 كيلو جرام). هذه المشاكل يمكن حلها في كثير من الأحيان من خلال استخدام بعض أشكال التنظيم الرياضي.

علاوةً على ذلك، وجود تفاعلات ولاخطية في قيم خصائص الدخل. إذا كان كل من الميزات يساهم بشكل مستقل في قيم الخرج، عندها تقوم الخوارزميات الخطية (مثل الانحدار الخطي، الانحدار اللوجستي، دعم آلات ناقلات، ساذجة Bayes)  ودوال المسافة  (مثلًا، خوارزمية الجار الأقرب، شعاع الدعم الآلي مع نواة جاوس) بأداء جيد عموما. ولكن، إذا كان هناك تفاعلات معقدة بين خصائص الدخل، عندها تقوم خوارزميات من قبيل أشجار القرار والشبكات العصبية بالعمل بشكل أفضل لأنها مصممة خصيصا لاكتشاف هذه التفاعلات.  يمكن تطبيق الطرق الخطية في هذه الحالة كذلك، ولكن يجب أن يقوم المهندس  بتحديد التفاعلات يدويا عند استخدامها.

وعلى صعيد آخر، عوامل أخرى في الاعتبار عند اختيار وتطبيق خوارزمية التعلم ما يلي:

التدريب التّوالدي

من جهة ثانية، أساليب التدريب المذكورة أعلاه هي أساليب تدريبية تمييزية لأنها تسعى إلى إيجاد تابع لكي يميز جيدا بين قيم الإخراج المختلفة (انظر النموذج التمييزي). لأجل حالة خاصة حيث هو توزيع احتمالي مشترك وتابع الخسارة  هو سالب لغواريتم تقدير الاحتمال خوارزمية تقليل الأخطار تقوم بالتدريب التوالدي ، لأن التابع يمكن اعتباره نموذج توالدي يقوم بتفسير كيف تم إنشاء بيانات التدريب. خوارزميات التدريب توالدي غالبا ما تكون أبسط وأكثر كفاءة حسابيا من خوارزميات التدريب التمييزية . في بعض الحالات يمكن أن يكون الحل حسابها في شكل قريب من حلول خوارزميات  بايز البسيط وتحليل التمايز الخطي.

نظرة عامة

ومن ناحية أخرى، تحديد نوع وبنية خوارزمية التعلم. مثلًا، قد يقوم المهندس باختيار طرق التعلم باستخدام شعاع الدعم الآلي أو أشجار القرار.

كذلك، لحل مشكلة معينة من التعلم تحت الاإشراف يجب إتباع الخطوات التالية:

ومن ناحية أخرى، هناك أربع قضايا رئيسية تأخذ بعين الاعتبار في التعلم تحت الإشراف:

وفي السياق ذاته، جمع مجموعة التدريب. مجموعة التدريب يجب أن تكون ممثلة في العالم الحقيقي باستخدام تابع. وهكذا مجموعة من المدخلات الكائنات التي تم جمعها والتي تتناظر مع مخرجات (فئات، أو وسوم)  التي كذلك  يتم جمعها سواء بالاستعانة بالخبراء أو عن طريق القياسات المخبرية.

إضافةً إلى ذلك، تقييم دقة تابع التعلم. بعد التعديل والتعليم للمعاملات (البارامترات)،  قبل البدء بعملية التدريب يتم فصل مجموعة التدريب إلى مجموعتين الأولى تسمى مجموعة التعليم والأخرى مجموعة الفحص يتم اختبار أداء تابع التعلم باستخدام مجموعة الفحص. هناك طرق كثير لفصل مجموعة الفحص عن مجموعة التعليم، أهمها التصديق المتقطع، التصديق بالفصل، التصديق ترك واحد خارجا.

من جانب آخر، تحديد نوع أمثلة التدريب. قبل القيام بأي شيء آخر، يجب على المستعمل أن يقرر ما هو نوع من البيانات المستعملة في مجموعة التدريب. في حالة تحليل خط اليد، مثلًا، قد تكون حرف واحد مكتوب بخط اليد أو كلمة كاملة مكتوبة يدويا.

وفي السياق ذاته، مجموعة واسعة من خوارزميات التعلم تحت إشراف متوفرة، مع كل نقاط القوة والضعف فيها. لا يوجد خوارزمية تعلم واحدة تعمل بشكل أفضل من الخوارزميات الأخرى على جميع مسائل التعلم بالأشراف انظر لا يوجد غداء مجاني نظرية).

وعلى صعيد آخر، تحديد طريقة تمثيل خصائص (قسمات) المدخلات لتابع التعلم. دقة التابع المُعلّم يعتمد بشدة على كيفية تمثيل الكائن المدخل. عادة يتم تحويل الكائن المدخل تتحول إلى متجه (متجه رياضي) من الخصائص، وهي عبارة عن مقادير عددية أو سلاسل حرفية محددة توصف الكائن المدخل،  عدد الخصائص يجب أن لا يكون كبير جدا، وهذا ما يصطلح بتسميته  لعنة الأبعاد، ولكن يجب أن تحتوي على ما يكفي من المعلومات للتنبؤ بدقة بقيم الخرج.

علاوةً على ذلك، إكمال التصميم. تشغيل خوارزمية التعلم على مجموعة التدريب. بعض خوارزميات التعلم تحت إشراف تتطلب من المستعمل تحديد بعض معاملات (بارامترات) التحکم. هذه المعامالات يمكن تعديلها عن طريق تشغیل خورزمیات تحسین الأداء على مجموعة فرعية (تسمى مجموعه التحقق من الصحة) من مجموعة التدريب، أو عبر عبر التحقق من صحة.

تقليل  المخاطر التجريبية

ومن جهة أخرى، عندما يحتوي على الكثير من التوابع المرشحة أو مجموعة تدريب غير كبيرة بما فيه الكفاية، يؤدي تقليل المخاطر التجريبية إلى ارتفاع في الانحراف (المعياري) وضعف في التعميم.  خوارزمية التعلم تقوم

ومن ناحية أخرى، في تقليل المخاطر التجريبية، تقوم خوارزمية التعلم بالإشراف  بالبحث عن تابع بحيث يقلل من . وبالتالي فإن خوارزمية التعلم بالإشراف يمكن بناؤها من خلال تطبيق خوارزميات الاستمثال للعثور على .

ومن ناحية أخرى، بحفظ الأمثلة التدريبية دون تعميم. وهذا ما يسمى كذلك الافراط في التناسب.

ومن ناحية أخرى، عندما يكون بالاعتماد احتمال ذو توزيع شرطي وتابع الخسارة سالب لوغاريتم تقدير الاحتمال: عندها تقليل المخاطر التجريبية  هو ما يعادل أقصى تقدير الاحتمالات.

أبعاد فضاء المدخلات

وفي هذا الصدد، المسألة الثالثة هي أبعاد فضاء المدخلات. إذا كان عدد خصائص متجه الدخل كبير جدا تصبح مسألة التعلم صعبة الحل جدا حتى لو أن تابع التعلم الصحيح يعتمد على عدد قليل من تلك المدخلات. وذلك لأن الكثير من  الأبعاد «إضافية» يمكن أن تشوش خوارزمية التعلم وتؤدي إلى انحراف عالي في أداء الخوارزمية. من هنا  ارتفاع أبعاد المدخلات عادة ما يتطلب ضبط المصنف ليتمكن من الوصول انحراف منخفض وانحياز عالي. في الواقع، إذا كان هناك مهندس يستطيع  إزالة  الخصائص عديمة الصلة من فضاء الدخل يدويا، ومن المرجح أن تؤدي هذه الإزالة إلى تحسين دقة التابع المكتسب بالتعلم. وفضلًا عن ذلك، هناك الكثير من خوارزميات اختيار الميزات التي تسعى إلى تحديد الخصائص (الميزات) ذات الصلة  والتخلص من الميزات عديمة الصلة. بشكل مبسط تسعى إستراتيجية تخفيض الأبعاد   إلى تبديل (إسقاط هندسي) فضاء البيانات المدخلة إلى فضاء أقل أبعاد قبل تشغيل خوارزمية التعلم بالإشراف.

الانحياز التحريضي

• الافراط في التناسب (تعلم الآلة)
• (لم تتم معايرتها) احتمالات عضوية الفئات
• التعلم بدون المراقبة
• النسخ المتعدد لفضاءات التعلم
• انظر
• تعلم الآلة
• خوارزميات تصنيف
• شجرة القرار
• شبكة عصبونية اصطناعية
• تعلم الآلة
• خوارزميات تصنيف
• الذكاء الاصطناعي القابل للتفسير
• المراجع

الضجيج في قيم الخرج

كذلك، في الواقع، هناك عدة طرق للتخفيف من حدة الضوضاء في قيم الخرج مثل التوقف المبكر لمنع فرط الملاءمة وكذلك الكشف عن وإزالة  أمثلة التدريب المشابة بالضوضاء  قبل تشغيل خوارزمية التعلم بالاشراف. هناك الكثير من الخوارزميات التي تحدد وتزيل الأمثلة التدريبية  التي يشتبه بأنها مشوشة بالضجيج قبل البدء بالتدريب وهذا يؤدي إلى انخفاض مع دلالة إحصائية.

من جانب آخر، والمسألة الرابعة هي درجه الضوضاء في قیم الخرج المطلوبة (مقاىير تابع الهدف الإشرافية). إذا  كانت مجموعة التدريب تحتوي قيم غير صحيحة في خانة الخرج (بسبب الخطأ البشري أو الأخطاء في أجهزة القياس)، في هذه الحالة تقوم خوارزمية التعلم باكتساب تابع يعطي قيم لا تتطابق مع أمثلة التدريب الواقعية. السعي إلى تكييف البيانات بشكل دقيق جدا يؤدي إلى الإفراط في التناسب. بالإمكان الوصول إلى الإفراط في التناسب حتى عندما لا يكون هناك أخطاء في القياس (الضوضاء العشوائية) إذا كنت تحاول تعلم تابع (دالة) معقدة جدا بالنسبة نموذج التعلم. في مثل هذه الحالة ذلك الجزء من تابع الهدف لا يستطيع تمثيل بيانات التدريب «المعطوبة» وتدعى هذه الظاهرة باسم . عندما يكون أي نوع من الضوضاء في مجموعة بياناتك الحالية، فمن الأفضل المضي باستخدام مخمن لأعلى أنحياز وأقل مقدار انحراف.

تابع التعقيد وكمية بيانات التدريب

من جانب آخر، المسألة الثانية هي كمية بيانات التدريب المتاحة بالنسبة إلى تعقيد التابع «الصحيح» (المصنف أو تابع الانحدار -  المقصود بالتابع الصحيح أن بعد تشغيل خوارزمية التدريب لمرات عديد يتم اختيار أنسب تابع تعلم ويكون صاحب الدقة الأكبر ويطلق عليه التابع الصحيح). إذا كان التابع الصحيح بسيطا، عندها سوف نكون بحاجة إلى خوارزمية تعلم «غير مرنة» فيها انحياز مرتفع وانخفاض في الانحراف وسنكون قادرين على تحقيق ذلك باستخدام كمية صغيرة من البيانات. ولكن إذا كان التابع الصحيح معقد للغاية (مثلًا، لأنه يعتمد على التفاعلات المعقدة بين الكثير من المدخلات والخصائص المختلفة ويتصرف بطريقة مختلفة وفقا  لكل فضاء فرعي من فضاء المدخلات)، عندها سنكون بحاجة إلى كمية كبيرة من بيانات التدريب وخوارزمية تدريب تتمتع «بمرونة» عالية مع انخفاض في التحيز واختلاف كبير في الانحراف.