线性回归诊断--R

 【转载时请注明来源】：http://www.cnblogs.com/runner-ljt/

    Ljt   勿忘初心  无畏未来

    作为一个初学者，水平有限，欢迎交流指正。

  在R中线性回归，一般使用lm函数就可以得到线性回归模型，但是得到的模型到底合不合适？在我们使用所得到的线性模型之前就需要进行回归诊断。

    线性回归的诊断，主要是检验线性回归模型的假设是否成立。

    线性回归模型    y=Θ0+Θ1x1+Θ2x2+.......+Θmxm+ε    （自变量与因变量之间是线性关系）

    基本假设：

（1）随机干扰项 ε 服从零均值，同方差，零协方差（相互独立）的正态分布

           E(εi)=0  ;   var(εi)=σ2   ;   cov(εi , εj)=0     ;

           εi~N(0,σ2)

（2）随机干扰项 ε 与解释变量间不相关

           cov(Xi , εi) =0

（一）显著性检验

  （1）回归方程显著性 F 检验 ： 看自变量 X1 , X2 .....Xm  从整体上对随机变量Y是否有明显的影响 。

          原假设 H0：Θ1 =Θ2=.....=Θm=0        （H0 若被接受则表明随机变量Y与X1 , X2 .....Xm 之间的关系由线性回归模型表示不合适）

          P值 > head(bank) y x1 x2 x3 x4 1 1018.4 96259 2239.1 50760 1132.3 2 1258.9 97542 2619.4 39370 1146.4 3 1359.4 98705 2976.1 44530 1159.9 4 1545.6 100072 3309.1 39790 1175.8 5 1761.6 101654 3637.9 33130 1212.3 6 1960.8 103008 4020.5 34710 1367.0 > > fline summary(fline) Call: lm(formula = y ~ x1 + x2 + x3 + x4, data = bank) Residuals: Min 1Q Median 3Q Max -487.35 -78.89 -2.65 137.02 403.78 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -4.168e+03 1.193e+03 -3.495 0.002998 ** x1 5.842e-02 1.216e-02 4.805 0.000194 *** x2 4.142e-01 3.218e-02 12.871 7.41e-10 *** x3 -1.384e-02 8.520e-03 -1.624 0.123826 x4 -7.062e-01 1.750e-01 -4.035 0.000959 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 217.7 on 16 degrees of freedom Multiple R-squared: 0.9982, Adjusted R-squared: 0.9978 F-statistic: 2222 on 4 and 16 DF, p-value: < 2.2e-16 > >

回归结果的诊断：

 （1）F-statistic

         回归方程显著性 F 检验中的F统计量，其P值0.05,表明X3对Y没有显著影响，应考虑删除变量X3；其他三个变量的P值都 > par(mfrow=c(2,2)) > plot(fline,which=c(1:4)) >

   从回归的四个图形结果来看：

          残差图   Residuals vs Fitted  :  图上的点基本服从随机分布，可以认为不存在异方差的情况；

          标准Q-Q图  Normal Q-Q       :  图上的点基本都在y=x直线附件，可认为样本近似服从正态分布；

          标准化残差方根散点图 Scale-Location：类似与残差图，点的分布基本是随机的。

          库克距离图 Cook‘s distance   :  最大的库克距离为0.3左右，可以认为没有异常值点。