+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2020-03(56)

2020-04(60)

2020-05(24)

2020-06(39)

2020-07(23)

线性回归模型 —— 普通最小二乘法(OLS)推导与python实现

发布于2020-03-27 09:04     阅读(358)     评论(0)     点赞(8)     收藏(0)


0

1

2

3

4

5

6

7

8

9

一般回归模型中

回归的核心任务就是要通过样本信息来估计总体回归函数

一元线性回归模型:

一元线性回归模型假设x是一维的,即只考虑一个因素对y的影响,模型为

                                                   y=+x+μ,  E (μ|x)= 0

其中, 为回归系数。

可以表示为当x = 0,时y的期望值;可以理解为x每增加一个单位,y平均增加个单位

案例:

假设家庭每月消费支出与每月可支配收入之间的关系为:

Spending=+*Income+μ

 

                                         表1.1 家庭消费支出与可支配收入的一个随机样本       单位: 元

X

800

1100

1400

1700

2000

2300

2600

2900

3200

3500

Y

638

935

1155

1254

1408

1650

1925

2068

2266

2530

使用OLS估计回归参数

样本回归模型可表示为:

其中为回归参数的估计,下的拟合值,称为残差。

OLS估计的思想是通过最小化残差来对回归系数进行估计,即:

                                                              

 推导过程:

python实现

不调用package:

  1. def linear_OLS(x_arr,y_arr):
  2. x_avg= x_arr.mean()
  3. y_avg = y_arr.mean()
  4. s_xy = (x-x_avg)*(y-y_avg).T
  5. s_x = (x-x_avg)*(x-x_avg).T
  6. beta_1 = s_xy.sum()/s_x.sum()
  7. beta_0 = y_avg-beta_1*x_avg
  8. return beta_1,beta_0
  9. x = np.array([800,1100,1400,1700,2000,2300,2600,2900,3200,3500])
  10. y = np.array([638,935,1155,1254,1408,1650,1925,2068,2266,2530])
  11. beta_1,beta_0 = linear_OLS(x,y)
  12. print('beta_1:',beta_1,'beta_0:',beta_0)
  13. result:
  14. beta_1:0.67,beta_0:142

调用package:

  1. import statsmodels.api as sm
  2. x = np.array([800,1100,1400,1700,2000,2300,2600,2900,3200,3500])
  3. y = np.array([638,935,1155,1254,1408,1650,1925,2068,2266,2530])
  4. est = sm.OLS(y, sm.add_constant(x)).fit()
  5. est.summary()

result:

原文链接:https://blog.csdn.net/qq_18668137/article/details/105116319

0

1

2

3

4

5

6

7



所属网站分类: 技术文章 > 博客

作者:9384vfnv

链接: https://www.pythonheidong.com/blog/article/286735/17097ed57e09158306d5/

来源: python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

8 0
收藏该文
已收藏

评论内容:(最多支持255个字符)