رگرسیون خطی

رگرسیون خطی

رگرسیون روش آماری است که به بررسی ارتباط دو یا چند متغیر می‌پردازد که با استفاده ‌از آن می‌توان یک متغیر را براساس یک یا چند متغیر دیگر پیش‌بینی نمود. حال در صورتی که ‌یک متغیر مستقل داشته باشیم، با مدل رگرسیون خطی ساده و در صورتی که بیش از یک متغیر مستقل داشته باشیم با مدل رگرسیون چندگانه مواجه می‌شویم.

الف) رگرسیون ساده

فرض کنیدx یک متغیر مستقل و y یک متغیر وابسته ، eمتغیر خطا باشد معادله خط رگرسیون به صورت:

y_i=B₁x_i+ e_i, i=1, 2, k, n

است که در آن پارامتر B₁ نشان دهنده شیب خط است. در مدل رگرسیونی خطی ساده متغیر مستقل تحت کنترل است و تصادفی نیست در صورتی که متغیر وابسته، تصادفی است. با استفاده ‌از تحلیل رگرسیون می‌توانیم فرض وجود ارتباط بین دو متغیر مستقل و وابسته را آزمون کنیم. به منظور آزمون کردن فرض:

Ho: “مدل رگرسیون خطی برازش داده شده، معنی داری نیست”.

در برابر فرض:

H₁: “مدل رگرسیون خطی برازش داده شده، معنی دار است”.

از جدول تجزیه واریانس استفاده می‌کنیم که به صورت زیر می‌باشد.

تجزیه واریانس

منبع تغییرات	مجموع مربعات	درجه آزادی	میانگین مربعات	آمارF	سطح معنی‌داری
رگرسیون	SSR	1	MSRs SSr/1	MSR/MSE	P-Value
خطا	SSE	n-z	MSE, SSE/n-2	MSR/MSE	P-Value
مجموع	SST	n-1

تفسیر و تصمیم‌گیری

اگر P-Value< 0.5 فرض H_o را در سطح خطای 05/0 در می‌کنیم و در غیر این صورت H_o را می‌پذیریم.

ب-رگرسیون چندگانه

مدل‌های رگرسیونی که شامل دو یا چند متغیر مستقل باشند به مدل‌های رگرسیون چندگانه معروفند. فرض کنید x₁ , …..x_k , kمتغیر تصادفی مستقل باشد k متغیر تصادفی وابسته باشد. رگرسیون خطی چندگانه میان این متغیرها به صورت زیر تعریف می‌شود:

Y_i=B₁X_i1+ B₂ X_i2 + …B_kX_ik +e_ic

که در آن B1, …. Bkضرایب رگرسیونی می‌باشد.

حال به منظور آزمون فرض

H_o: “مدل رگرسیون خطی برازش داده شده، معنی‌داری نیست”.

در برابر فرض

H₁: “مدل رگرسیون خطی برازش داده شده، معنی‌دار است”.

تجزیه واریانس

منبع تغییرات	مجموع مربعات	درجه آزادی	میانگین مربعات	آمارF	سطح معنی داری
رگرسیون	SSR	k	MSRs SSR/k	MSR/MSE	P-Value
خطا	SSE	n-z	MSE, SSE/n-b-1	MSR/MSE	P-Value
مجموع	SST	n-1