الانحدار الخطي المتعدد Multiple Linear Regression
ان نموذج الانحدار المتعدد هو عبارة عن انحدار للمتغير التابع ( Y) على العديد من المتغيرات المستقلة X 1 , X 2 , ...X Kويسمى هذا بنموذج الانحدار الخطي المتعدد , Multiple Linear Regression.
ويهدف هذا المقال إلى توضيح كيفية تقدير نموذج الانحدار الخطي المتعدد , , ثم تحديد أهم افتراضات النموذج , يضاف إلي ذلك بيان عدم وجود علاقة خطية تامة بين المتغيرات المستقلة وكيف أن المصفوفة ( X) , تكون مصفوفة غير شاذة ( Non –Singular) إذا كان محددها لا يساوي صفرا . ثم يتم بعد ذلك تقدير معلومات النموذج , تقدير التباين والتباين المشترك والانحراف المعياري لها للوصول إلى اختبار معاملات النموذج .
نموذج الانحدار الخطي المتعدد :
يستند النموذج الخطي المتعدد على افتراض وجود علاقة خطية بين متغير تابع Y iوعدد من المتغيرات المستقلة X 1,X 2,...X Kوحد عشوائي U i, ويعبر عن هذه العلاقة , بالنسبة ل nمن المشاهدات و kمن المتغيرات المستقلة , بالشكل آلاتي :
Y i = B 0 + B 1X i1 + B 2X i1 + … + B KX ik + U i …. (1)
وفي واقع الآمر فان هذه المعادلة هي واحدة من جملة معادلات يبلغ عددها ( n) تكون نظام المعادلات آلاتي :
Y 1 = B 0 + B 0X 11 + B 2X 12 + … + B KX 1K + U 1
Y 2 = B 0 + B 1X 21 + B 2X 22 + … B KX 2K + U 2
. . .. .. … … … ..
…. .. .. .. … … … ..
Y n = B 0 + B 1X n1 + B 2X n2 + … + B KX nK + U n
هذه المعادلة تتضمن (1+ k) من المعلومات المطلوب تقديرها علما بان الحد الأول منها ( B 0) يمثل الحد الثابت , الآمر الذي يتطلب اللجوء إلى المصفوفات والمتجهات لتقدير تلك المعلمات. عليه يمكن صياغة هذه المعادلات في صورة مصفوفات وكآلاتي :
= + …. ( 2 )
وباختصار
Y = XB + U
Y: متجه عمودي أبعاده (1+ n) يحتوي مشاهدات المتغير التابع .
X : مصفوفة أبعادها (1+ k× n) تحتوي مشاهدات المتغيرات المستقلة يحتوي عمودها الأول على قيم الواحد الصحيح ليمثل الحد الثابت .
B: متجه عمودي أبعاده ( 1× 1 + K) يحتوي على المعالم المطلوب تقديرها .
U: متجه عمودي أبعاده (1× n) يحتوي على الأخطاء العشوائية .
وبما أن المعادلة (1) هي العلاقة الحقيقية المجهولة والمراد تقديرها باستخدام الإحصاءات المتوفرة عن المتغير التابع , Y, والمتغيرات المستقلة , X 1,X 2,..X K, فانه يستوجب تحقق الفروض الأساسية الخاصة ب U iالتالية :
U i ~ N ( 0 , I n )
والذي يعني أن U iيتوزع توزيعا طبيعيا ( N) متعدد المتغيرات لمتجه وسطه صفري (0) ومصفوفة تباين وتباين مشترك عددية هي ( In) .
فرضيات النموذج الخطي المتعدد :
عند استخدام طريقة OLSفي تقدير نموذج الانحدار الخطي المتعدد , فانه يجب توافر الافتراضات آلاتية :
1- القيمة المتوقعة لمتجه حد الخطا تساوي صفرا أي أن , 0 = ( U i) E:
E (Ui) = E = =
2- تباين العناصر العشوائية ثابت , والتباين المشترك بينها يساوي صفرا , أي أن :
Cov (U) = E ( U ) = In
E ( U ) = E
= E
=
=
var (Ui) = E( ) =
Cov ( , I # j
E(
حيث أن : = ....... = =
=
=
وتسمى المصفوفة العددية أعلاه بمصفوفة التباين والتباين المشترك – Variance Covariance Matrixلحد الخطا U, حيث تشكل العناصر القطرية في المصفوفة , تباين قيم Uبينما تبقى العناصر غير القطرية ( أعلى واسفل القطر ) مساوية للصفر لانعدام التباين المشترك والترابط بين قيم U i.
3- ليس هناك علاقة خطية تامة بين المتغيرات المستقلة كما وان عدد المشاهدات يحجب أن يزيد على عدد المعلمات المطلوب تقديرها , أي أن :
R (x) = k + 1 < n
حيث أن ( r) رتبة مصفوفة البيانات , ( x) عدد المتغيرات المستقلة ( k) زائدا (1) الحد الثابت , وهي اصغر من عدد المشاهدات ( n) . وهذه الفرضية ضرورية جدا لضمان أيجاد معكوس المصفوفة ( ) , إذ أن انتفاء هذا الفرض يجعل رتبة المصفوفة ( X) اقل من ( 1+ K) وبالتالي فان رتبة ( ) التي تستخدم في الحصول على مقدرات OLSبدورها اقل من (1+ K) ولايمكن أيجاد معكوسها بسبب ما يسمى بمشكل الارتباط الخطي المتعدد , وبالتالي لايمكن الحصول على مقدرات المربعات الصغرى العادية , OLS.
طرق تقدير معلمات النموذج :
في ضوء الفرضيات المذكورة أعلاه يمكن استخدام طريقة OLSفي تقدير معلمات النموذج الخطي المتعدد , ولهذا الغرض يمكن كتابة المعادلة (1) بصيغتها التقديرية كآلاتي :
ولما كان هدفنا هو الحصول على قيم كل من التي تجعل مجموع مربعات الانحرافات اقل ما يمكن , أي تصغير القيمة ( مبدا المربعات الصغرى ) إلى اقل قيمة ممكنة , أي :
Min
ومن خلال التعويض عن بما يساويها واخذ المشتقات الجزئية بالنسبة إلى ومساواتها بالصفر نحصل على :
-2
بالقسمة على (-2) وفك القوس , نحصل :
(3)
بالقسمة (-2) وفك القوس , نحصل :
(4)
بالقسمة على (-2) وفك القوس , نحصل :
وتمثل المعادلات (3) , (4 ) و (5) المعادلات الطبيعية الثلاث التي تستخدم في تقدير المعالم الثلاثة المجهولة . أن هذه المعادلات , يمكن حلها بإحدى الطرق آلاتية :
أولا : طريقة المحددات :
ويمكن أن تحل هذه المعادلات بواسطة قاعدة كرا يمر للحصول على قيم من المعلمات وعلى النحو آلاتي :
ومن النظام أعلاه , يمكن أيجاد المحددات آلاتية :
|D| =
|N 1| =
|N2| =
أما بالنسبة لفيتم الحصول عليه عن طريق :
ثانيا : طريقة الانحرافات :
ويمكن تقدير معاملات الانحدار المتعدد باستخدام أسلوب الانحرافات أو ما يسمى بالمتوسطات , أي انحرافات القيم الأصلية عن وسطها وكآلاتي :
ولهذا الغرض نأخذ نموذج يحتوي متغيرين مستقلين X1و X2:
وبآخذ المتوسط لهذه المعادلة :
,
اثبات أن :
وبادخال على طرفي المعادلة اعلاه , نحصل على :
وبالقسمة على n:
(6) ........
......(7)
(8)..........
وبطرح المعادلة (8) من المعادلة (6) نحصل :
وبعد الاختصار في الطرف الايمن , نحصل :
ومنها يكون :
or
yi = ( I=1,2,3,……,n ) …(9)
وفي واقع الأمر فان المعادلة أعلاه هي واحدة من جملة معادلات يبلغ عددها nمعادلة تكون نظام المعادلات التالي :
Y 1 =
Y 2 =
…. ………. ………
y n =
ويمكن التعبير عن المعادلات أعلاه في هيئة مصفوفة وكما يلي :
حيث يمكن التعبير عن ذلك بصيغة المصفوفات :
Y = x
حيث أن :
Y: متجه عمودي أبعاده ( 1× n) يحتوي على انحرافات قيم المتغير التابع .
X: مصفوفة أبعادها ( 1 – k × n) تحتوي على انحرافات قيم المتغيرات المستقلة حيث أنها لا تتضمن العمود الأول الذي يمثل الحد الثابت . حيث يمكن بذلك استخراج الحد الثابت من خارج المصفوفة باستخدام القانون آلاتي :
or
: متجه عمودي أبعاده ( 1× 1 – K) تحتوي على المعالم المجهولة .
E: متجه عمودي أبعاده ( 1× n) يحتوي على البواقي .
ويمكن التوصل الى مصفوفة الانحرافات باتباع الخطوات التالية :
باعادة كتابة المعادلة ( 4 . 7 ) على النحو الاتي :
ولما كانت افضل طريقة للحصول على اصغر قيمة ممكنة للانحرافات تتم بواسطة تربيعها وبجعل مجموع مربعاتها اصغر ما يمكن . وبأخذ المشتقة الجزئية لها بالنسبة لكل من ومساواتها بالصفر نحصل على :
وبالقسمة على (-2) وفك القوس , نحصل على :
( 10 ) ...
وبالقسمة على (-2) وفك القوس , نحصل :
ويمكن صياغة المعادلتين أعلاه على شكل مصفوفة وكآلاتي :
ومن النظام أعلاه , يمكن إعادة كتابته بالشكل التالي :
وعليه فان تقدير المعالم باستخدام المصفوفة بأسلوب الانحرافات يأخذ الصيغة التالية :
وبعد احتساب المتجه ومحدد المصفوفة الذي ينبغي أن لا يساوي صفرا نوجد مقلوب المصفوفة الذي هو عبارة عن ومن ثم تطبيق القانون أعلاه . أما فيمكن حسابه بموجب القانون آلاتي :
هذا ويمكن استخراج القيم بالانحرافات دون الرجوع إلى البيانات الأصلية وكما مبين أدناه :
وبعد استخدام الحاسوب , فقد اصبح من السهل على الباحث الاقتصادي أن يحصل على النتائج من خلال أجادته استخدام إحدى البرمجيات الإحصائية أمثال EXCEL , SPSS, , ولايحتاج إلى استخدام الصيغ أعلاه في الجوانب التطبيقية , ولكن تم عرضها هنا لمعرفة كيفية عمل الانحدار المتعدد.
اختبار الفرضيات لنموذج الخطي المتعدد :
يهدف هذا البحث إلى توسيع معارفنا الأساسية لنموذج الانحدار وذلك بأجراء اختبار معنوية الانحدار المتعدد والمقدر باستخدام توزيع اختبار إحصاءه Fومقارنته باختبار tومن ثم تقييم كفاءة الأداء العام لنموذج الانحدار المتعدد ومقارنته بمعامل التحديد المقدر المعدل , وكذلك اختبار العلاقة بين Fو من خلال جدول تحليل التباين , ANOVA, ثم علاقة بقيمة المتغير العشوائي , .
اختبار معنوية المعالم ( t) :
يستخدم اختبار tلتقييم معنوية تأثير المتغيرات المستقلة x 1,x 2,...x kفي التغير التابع yفي نموذج الانحدار المتعدد يعتمد على نوعين من الفروض :
فرضية العدم B 1 = B 2 = B 3 ...= B K = 0 H 0
الفرضية البديلة B 1 = B 2 # B 3 # ...B K = 0 H 1
وبعد احتساب قيمة ( t) تقارن مع قيمتها الجدولية لتحديد قبول او رفض فرضية العدم ومن ثم تقييم معنوية معلمات النموذج المقدر ، والصيغة الرياضية لهذا الاختبار يمكن بيانها كما يلي :
ا – بالنسبة الى
ب – بالنسبة الى :
معامل التحديد R 2 Multiple Coefficient of determination