最近读到一篇很棒的文章，介绍了回归分析的五个基本假设，假设失效的影响及检验方法，现总结归纳如下。为己乃梳理巩固，亦期能有助于各位。

回归分析是一种统计学上分析数据的方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型。以便通过观察特定变量（自变量），来预测研究者感兴趣的变量（因变量）。

总的来说，回归分析是一种参数化方法，即为了达到分析目的，需要设定一些“自然的”假设。如果目标数据集不满足这些假设，回归分析的结果就会出现偏差。因此想要进行成功的回归分析，我们就必须先证实这些假设。

线性性 & 可加性

假设因变量为 Y ，自变量为X1， X2 ，则回归分析的默认假设为 Y=b+a1X1+a2X2+ε 。 线性性： X1 每变动一个单位， Y 相应变动a1个单位，与 X1 的绝对数值大小无关。 可加性： X1 对 Y 的影响是独立于其他自变量（如X2）的。

误差项（ ε ）之间应相互独立。

若不满足这一特性，我们称模型具有自相关性（Autocorrelation）。

自变量（ X1，X2 ）之间应相互独立。

若不满足这一特性，我们称模型具有多重共线性性（Multicollinearity）。

误差项（ ε ）的方差应为常数。

若满足这一特性，我们称模型具有同方差性（Homoskedasticity），若不满足，则为异方差性（Heteroskedasticity）。

误差项（ ε ）应呈正态分布。

线性性 & 可加性

若事实上变量之间的关系不满足线性性（如含有 X21 , X31 项），或不满足可加性（如含有 X1⋅X2 项），则模型将无法很好的描述变量之间的关系，极有可能导致很大的泛化误差（generalization error）

自相关性（Autocorrelation）

自相关性经常发生于时间序列数据集上，后项会受到前项的影响。当自相关性发生的时候，我们测得的标准差往往会偏小，进而会导致置信区间变窄。 假设没有自相关性的情况下，自变量 X 的系数为15.02而标准差为 2.08 。假设同一样本是有自相关性的，测得的标准差可能会只有 1.20 ，所以置信区间也会从 (12.94,17.10) 缩小到 (13.82,16.22) 。

多重共线性性（Multicollinearity）

如果我们发现本应相互独立的自变量们出现了一定程度（甚至高度）的相关性，那我们就很难得知自变量与因变量之间真正的关系了。 当多重共线性性出现的时候，变量之间的联动关系会导致我们测得的标准差偏大，置信区间变宽。 采用岭回归，Lasso回归或弹性网（ElasticNet）回归可以一定程度上减少方差，解决多重共线性性问题。因为这些方法，在最小二乘法的基础上，加入了一个与回归系数的模有关的惩罚项，可以收缩模型的系数。 岭回归： =argminβ∈Rp(∥y−Xβ∥22+λ∥β∥22) Lasso回归： =argminβ∈Rp(∥y−Xβ∥22+λ∥β∥1) 弹性网回归： =argminβ∈Rp(∥y−Xβ∥22+λ1∥β∥1+λ2∥β∥22)

异方差性（Heteroskedasticity）

异方差性的出现意味着误差项的方差不恒定，这常常出现在有异常值（Outlier）的数据集上，如果使用标准的回归模型，这些异常值的重要性往往被高估。在这种情况下，标准差和置信区间不一定会变大还是变小。

误差项（ ε ）应呈正态分布

如果误差项不呈正态分布，意味着置信区间会变得很不稳定，我们往往需要重点关注一些异常的点（误差较大但出现频率较高），来得到更好的模型。

线性性 & 可加性 观察残差（Residual）/估计值（Fitted Value， Y^ ）图。

相较于图一（残差随机分布），图二的残差明显呈现了某种二次型趋势，说明回归模型没有抓住数据的某些非线性特征。 为了克服非线性性的影响，我们可以对自变量做一些非线性变换，如 log(X),X−−√,X2..etc

自相关性（Autocorrelation） 观察杜宾-瓦特森统计量（Durbin-Watson Statistic）