فصل دوم: بهینه کردن برآوردگرها در رگرسیون ریج

 

2 – 1- روش های بدست آوردن پارامتر ریج …………………………………………………………………………………………………………..21

 

2 – 1 – 1- روش نموداری برای بدست آوردن پارامتر ریج ……………………………………………………………………….. 22

 

2 – 1 – 2 -روش محاسباتی برای بدست آوردن پارامتر ریج ……………………………………………………………………… 22

 

2 – 1 – 2 – 1- رگرسیون ریج تعمیم یافته ……………………………………………………………………………………….. 23

 

2 – 1 – 3 – روش های مختلف برآورد پارامتر ریج …………………………………………………………………………………….. 25

 

2 – 2 – تعدیل کردن برآوردگرها …………………………………………………………………………………………………………………………… 30

 

2 – 3 – یک مطالعه شبیه سازی. ………………………………………………………………………………………………………………………….. 31

 

 

 

فصل سوم: برآوردگر رگرسیون ریج خطی شده در رگرسیون خطی

 

3 – 1- ارزیابی بیشتر برآوردگر لیو ……………………………………………………………………………………………………………………….. 41

 

3 – 1 – 1- ارتباط بین برآوردگر لیو و ریج ………………………………………………………………………………………………..44

 

3 – 2 – برآوردگر لیو تعمیم یافته ………………………………………………………………………………………………………………………….. 46

 

3 – 3 – برآوردگر رگرسیون ریج خطی شده ………………………………………………………………………………………………………….. 46

 

3 – 3 – 1 – نسخه جدید برآوردگر ریج تعمیم یافته براساس  برآوردگر لیو ……………………………………….. 47

 

3– 3 – 2 – بدست آوردن برآوردگر رگرسیون ریج خطی شده …………………………………………………………………………… 49

 

3 – 4 – بهینه کردن سه برآوردگر   و  و   در مجموعه های مختلف ………………………………….. 50

 

            3 – 4 – 1 – بدست آوردن آماره  برای سه برآوردگر …… …………………………………………………………49

 

            3 – 4 – 2- روش بهینه کردن  سه برآوردگر ………………………………………………………………………………………….. 53

 

 

 

فصل چهارم: مثال های کاربردی و شبیه سازی

 

4 – 1 – مثال شبیه سازی …………………………………………………………………………………………………………………………………….. 58

 

4 – 2 – مثال واقعی ……………………………………………………………………………………………………………………………………………….. 61

 

 

 

پیوست

 

پیوست 1 …………………………………………………………………………………………………. ………………………………………………………………65

 

پیوست 2 …………………………………………………………………………………………………………………………………………………………………. 70

 

فهرست منابع و مآخذ ……………………………………………………………………………………………………………………………………………… 80

 

 

واژه نامه فارسی به انگلیسی ……………………………………………………………………………………………………………………………………. 83

 

واژه نامه انگلیسی به فارسی ……………………………………………………………………………………………………………………………………. 87

 

فهرست جدول ها

 

جدول 2 – 1-  برآورد شده برآوردگرهای ریج اولیه برای    ………………………………………. …………………34

 

جدول 2 – 2 –  برآورد شده برآوردگرهای ریج تعدیل شده برای   …………….. ………………………………..35

 

جدول 2 – 3-  برآورد شده برآوردگرهای ریج اولیه برای   ………………………… …………………………………36

 

جدول 2 – 4-  برآورد شده برآوردگرهای تعدیل شده برای   ……………………… ………………………………..37

 

جدول 2 – 5  برآورد شده برآوردگرهای ریج اولیه برای   ………………………. ……………………………………..38

 

جدول 2 – 6 –  برآورد شده برآوردگرهای تعدیل شده برای   …………………………….. ………………………..39

 

جدول 4 – 1 -متوسط مقدار  برای برآوردگرهای  ،  ،    و  ……………………………60

 

جدول 4 – 2–  مقدار  برآوردگرهای  ،  ،  ،    و  ……………………………62

 

جدول 4 – 3- داده های سیمان هالد ……………………………………………………………………………………………………………………….62

 

فهرست نمودار ها

 

شکل 3-1- نمودار   امین مولفه برآوردگرهای ریج و لیو برای  ………………………………………………..45

 

نمودار 4 – 1 – کارایی بهبود یافته  چهار برآوردگر برای شش مقدار

 

………………………………………………………………60

 

چکیده

 

بررسی  روش های مختلف  برآوردیابی در رگرسیون ریج 

 

در رگرسیون خطی چندگانه، موضوع هم خطی چندگانه مشکلاتی را برای برآوردگر حداقل مربعات پارامتر  به وجود می آورد. در این پایان نامه، ضمن ارائه این مشکلات، تلاش می شود که برآوردگرهای اریبی مانند برآوردگر حاصل از رگرسیون ریج و یا برآوردگر لیو جایگزین برآوردگرهای حاصل از کمترین مربعات نماییم. این برآوردگرها اغلب دارای یک پارامتر اریبی k یا d هستند. می توان با انتخاب مناسب k یا d  برآوردگری با میانگین مربعات خطای کمتری نسبت به برآوردگر حداقل مربعات بدست آورد. روش های مختلف برآورد کردن پارامتر اریبی در رگرسیون ریج معمولی را ارائه داده و سپس با استفاده از این روش ها، برآوردگرهای تعدیل یافته جدیدی بدست می آوریم. برآوردگر ریج خطی شده را معرفی کرده و با استفاده از معیار ، به بهینه کردن این برآوردگر و دو نسخه تعمیم یافته برآوردگر لیو می پردازیم. در پایان به وسیله یک مطالعه شبیه سازی و یک سری داده واقعی، عملکرد برآوردگرهای معرفی شده را با هم مقایسه می کنیم.

 

Abstract

 

A Survey on Different Estimation Methods in the Ridge Regression