انحدار خطي

أشكال الكتابة

وفي السياق ذاته، توجد ثلاثة أشكال لكتابة نماذج الانحدار الخطي: الكتابة العادية (أو القياسية) والكتابة المتجهية والكتابة المصفوفاتية.

الفرضيات التصادفية

• الفرضية : القيمة المتوقعة للأخطاء الإحصائية منعدمة، ، بالنسبة لكل ملاحظة .
• الفرضية : الارتباط الذاتي للأخطاء منعدم، لكل زوج بحيث ، .
• الفرضية : تجانس تباين الأخطاء الإحصائية .
• الفرضية : الأخطاء موزعة وفق نفس التوزيع الطبيعي .

تجانس تباينات الأخطاء العشوائية

عدم ارتباط ذاتي بين المتغيرات المستقلة والأخطاء العشوائية.

وفي هذا السياق، تتمثل طريقة المربعات الصغرى في تقدير والتي تقلل الفرق بين القيم الفعلية والنظرية أو المقدرة والتي تحقق النهاية الصغرى للكمية.

• انظر كذلك
• تحليل التباين
• تداخل خطي
• الانحدار الخطي البسيط
• مبرهنة غاوس ماركوف

عدم ارتباط ذاتي بين الأخطاء العشوائية.

تاريخ

في هذا الإطار، 1866: أول ظهور لمصطلح انحدار في أعمال فرانسيس غالتون، حيث طبق نموذج الانحدار الخطي البسيط في نمذجة قامات الأطفال المولودين لآباء ذوي قامات غير اعتيادية (فارعة أو قصيرة الطول) مبينا بأن قامات الأطفال تؤول نحو المتوسط الحسابي لقامة الساكنة.

وفي هذا الصدد، 1755: يوسيب بوسكوفيتش هو أول رياضياتي يقوم بحساب معاملات نموذج انحدار خطي خلال أعماله في مجال الجغرافيا.

التحليل الوصفي

تقعيد نظري

• يشار للعينة الإحصائية ب تضم فردا إحصائيا ببياناتهم وفق صنفين من المتغيرات:
• : المتغير التابع.
• (أو مجموعة متغيرات ، مع ): المتغيرات المستقلة أو المفسرة.

وفي السياق ذاته، في حالة وجود متغير مستقل وحيد، نكون في حالة الانحدار الخطي البسيط وفي حالة الانحدار الخطي المتعدد إذا كانت .

الكتابة القياسية

وفي هذا الصدد، لكل فرد إحصائي ، تكتب نمذجة القيمة المتحققة بدلالة قيم المتغيرات المفسرة والخطأ الإحصائي :

أشكال الدالة

وعلى صعيد آخر، يمكن أن تأخذ الدالة أشكالا مختلفة قد تكون خطية، لوغارتمية، أو أسية... الخ، ويمكن تحويل أي نموذج إلى النموذج الخطي، سنركز على الانحدار الخطي البسيط في قياس العلاقة بين المتغيرات:

تقدير النموذج

• طريقة التقدير حسب القيمة العليا لدالة الإمكان.
• طريقة التقدير حسب طريقة المربعات الدنيا.
• طريقة العزوم.
• الطرق البايزية.

ومن جهة أخرى، تقدير النموذج يعني بالأساس تقدير القيم المقدرة للمعاملات (والتي تعتبر معالم النموذج)، إضافة إلى التصديق الإحصائي على نجاعة النموذج وقابلية تطبيقه واستغلاله عمليا، خصوصا في توقع قيم مستقبلية (أو جديدة) ل بمعرفة قيم . توجد أربع طرق لتقدير نموذج الانحدار الخطي:

وفي هذا السياق، أكثر الطرق استعمالا، وأكثرها نجاعة، هي طريقة المربعات الدنيا: حسب مبرهنة كاوس ماركوف، وفي حالة تحقق الفرضيات المنصوص عليها في المبرهنة، فمقدر المربعات الدنيا يكون أفضل مقدر خطي بدون تحيز (بالإنجليزية: Best Linear Unbiased Estimator) ويشار إليه اختصارا ب BLUE.

i=1,..,n

في هذا الإطار، حيث أن هي معلمات النموذج وعنصر الخطأ العشوائي، تم إضافته مراعاة للصفة الاحتمالية للنموذج ويمثل الفرق بين القيم الفعلية والقيم النظرية، وبالتالي قد تكون قيمته موجبة أو سالبة وتشترط أن تكون القيمة المتوقعة تساوي صفر.

طرق تقدير معلمات النموذج

الخطية.

انعدام القيمة المتوقعة للعنصر العشوائي.

وفي هذا السياق، من أبرز الطرق المستعملة في تقدير معلمات النموذج طريقة المربعات الصغرى، وتنحصر خصائص المعلمات المقدرة في خمس افتراضات:

الفرضيات البنوية

من جانب آخر، الفرضية : عدم وجود أخطاء إحصائية في ملاحظة و (مفهوم الخطأ هنا يشمل الأخطاء القياسية والتحيزات التي يمكن أن تكون ناتجة عن أخطاء منهجية في الاستعيان مثلا).

في هذا الإطار، الفرضية : حجم عينة البيانات أكبر بكثير من عدد المعالم الإحصائية اللازم تقديرها، أي .

ومن ناحية أخرى، الفرضية : وجود علاقة خطية بين و (في حالة الانحدار الخطي البسيط) وعدم وجود تداخل خطي بين المتغيرات (في حالة الانحدار الخطي المتعدد).

الفرضية : و موزعة طبيعيا، ولكل ، .

طرق التأكد من الفرضيات

علاوةً على ذلك، عمليا، يتم التأكد من الفرضيات، في الغالب، عبر اختبارات إحصائية، وغالبا ما تكون العملية تكرارية ويمكن أن تستلزم القيام بتطبيق دوال تحويلية على المتغيرات، أو استثناء عناصر إحصائية من العينة، حتى تقترب العينة المدروسة من البنية المثلى الموافقة للفرضيات. عمليا، من الصعب تحقق كل الفرضيات بصورة كاملة، ولذلك يجب مرافقة الدراسة بمقاربة تحكيمية تحقق التوافق بين الهدف من النمذجة وجودة البيانات المتوفرة وإمكانية الوصولية إلى بيانات أخرى.

طريقة المربعات الدنيا

في هذا الإطار، قبل تطبيق طريقة المربعات الدنيا لتقدير المعالم الإحصائية لنموذج الانحدار، يجب التأكد من تحقق مجموعة من الفرضيات، وخصوصا فرضيات مبرهنة غاوس ماركوف (المتعلقة بالخصائص الإحصائية لأخطاء النموذج الخطي الإحصائية). تنقسم الفرضيات إلى صنفين: فرضيات بنوية (Systemic) يجب التأكد منها قبل تطبيق النموذج وفرضيات تصادفية (Stochastic) يتم التأكد منها بعد كل تكرار لتطبيق النموذج إلى غاية بلوغ صيغة مستقرة وقابلة للتطبيق.

الكتابة المتجهية

وفي هذا الصدد، يشار لمتجهة المعاملات ولمنقولة متجهة القيم المتحققة ب وتكتب النمذجة:

مفاهيم الانحدار والارتباط والسببية

وعلى صعيد آخر، تحكيمية: في سياق التعلم المراقب حيث يمكن النموذج من الفصل والتحكيم بين مجموعة من المتغيرات المفسرة حسب قوتها التفسيرية.

وفي السياق ذاته، تأكيدية: كما في حالة صيغة دوبري المؤكدة لخاصية ارتباط ضغط غاز الزئبق مع درجة الحرارة : والتي يمكن تأكيدها إحصائيا عبر نموذج انحدار خطي يطبق على التحويل اللوغاريتمي للمعادلة.

علاوةً على ذلك، الانحدار الخطي وتحليل الارتباط، رغم اشتراكهما في نفس القاعدة الإحصائية، إلا أنهما يختلفان على مستوى أدوار المتغيرات. إذا كان تحليل الارتباط يتعامل مع المتغيرين و على قدم المساواة، أي بصورة تماثلية، فتحليل الانحدار يجب أن يعتمد على تقعيد نظري قبلي يؤسس لحد أدنى من التراتبية السببية بين المتغيرات. مثلًا في النظرية الاقتصادية: تفسير ظاهرة الاستهلاك بدلالة الدخل (مع ثبات العوامل الأخرى) انطلاقا من أن استهلاك الفرد مرتبط بالدخل. وهو ما يعطي للباحث شرعية لوضع علاقة بين المتغيرات الاقتصادية على شكل دالة: ، مع المتغير التابع (الاستهلاك) و المتغير المستقل (الدخل).

ومن ناحية أخرى، استكشافية: لاستكشاف وجاهة متغير ما في تفسير ظاهرة معينة (مثلا العمر كمفسر لارتفاع الضغط الدموي).

كذلك، غالبا ما تكون الخبرة المعرفية في مجال الدراسة هي منطلق وضع النموذج، بأهداف استكشافية أو تأكيدية أو تحكيمية:

الكتابة المصفوفاتية

كذلك، أحيانا، تستعمل الكتابة المصفوفاتية للتعبير عن النموذج بشكل شامل، وأيضا لتسهيل البرهنة على الخصائص الاستدلالية المرتبطة بالنموذج:

بحيث: