在标准线性回归中，通过最小化真实值( y i y_i yi​)和预测值( y ^ i \hat y_i y^​i​)的平方误差来训练模型，这个平方误差值也被称为残差平方和(RSS, Residual Sum Of Squares): R S S = ∑ i = 1 n ( y i − y ^ i ) 2 RSS=\sum^n_{i=1}(y_i-\hat y_i)^2 RSS=i=1∑n​(yi​−y^​i​)2 最小二乘法即最小化残差平方和，为： J β ( β ) = arg min ⁡ β ∑ i = 1 p ( y i − x i β i − β 0 ) 2 J_{\beta}(\beta)=\argmin_\beta \sum^p_{i=1}(y_i-x_i\beta_i-\beta_0)^2 Jβ​(β)=βargmin​i=1∑p​(yi​−xi​βi​−β0​)2

将其化为矩阵形式： J β ( β ) = arg min ⁡ β ( y − X β ) T ( y − X β ) \begin{aligned} J_{\beta}(\beta)=\argmin_\beta (y-X\beta)^T(y-X\beta) \end{aligned} Jβ​(β)=βargmin​(y−Xβ)T(y−Xβ)​ 求解为： β = ( X T X ) X T y \beta=(X^TX)X^Ty β=(XTX)XTy 由于求解 β \beta β，需要假设 X T X X^TX XTX 为满秩矩阵。

然而现实任务中 X T X X^TX XTX 往往不是满秩矩阵或者某些列之间的线性相关性比较大，例如存在许多任务中，会出现变量数(属性数)远超过样例数，导致 X X X 的列数多于行数， X T X X^TX XTX 显然不满秩，即 X T X X^TX XTX 的行列式接近于0，即接近于奇异，此时计算是误差会很大，可解出多个 β \beta β(有用的方程组数少于未知数的个数时，没有唯一解，即有无穷多个解)，它们都能使均方误差最小化。即在多元回归中，特征之间会出现多重共线问题，使用最小二乘法估计系数会出现系数不稳定问题，缺乏稳定性和可靠性。

参考1 n阶行列式 参考2 岭回归

为了解决上述问题，我们需要将不适定问题转化为适定问题，在矩阵 X T X X^TX XTX 的对角线元素上加入一个小的常数值 λ \lambda λ，然后取其逆求得系数： β ^ r i d g e = ( X T X + λ I n ) − 1 X T Y \hat\beta_{ridge}=(X^TX+\lambda I_n)^{-1}X^TY β^​ridge​=(XTX+λIn​)−1XTY

随后，代价函数 J β ( β ) J_{\beta}(\beta) Jβ​(β) 在 R S S RSS RSS 的基础上加入了对系数值的惩罚，变为： J β ( β ) = R S S + λ ∑ j = 0 n β j 2 = R S S + λ ∣ ∣ β ∣ ∣ 2 \begin{aligned} J_{\beta}(\beta)&=RSS+\lambda\sum^n_{j=0}\beta^2_j \\ &=RSS+\lambda||\beta||^2 \end{aligned} Jβ​(β)​=RSS+λj=0∑n​βj2​=RSS+λ∣∣β∣∣2​ 矩阵形式为： J β ( β ) = ∑ i = 1 p ( y i − X i β ) 2 + λ ∑ j = 0 n β j 2 = ∑ i = 1 p ( y i − X i β ) + λ ∣ ∣ β ∣ ∣ 2 \begin{aligned} J_{\beta}(\beta)&=\sum^p_{i=1}(y_i-X_i\beta)^2+\lambda\sum^n_{j=0}\beta^2_j \\ &=\sum^p_{i=1}(y_i-X_i\beta)+\lambda||\beta||^2 \end{aligned} Jβ​(β)​=i=1∑p​(yi​−Xi​β)2+λj=0∑n​βj2​=i=1∑p​(yi​−Xi​β)+λ∣∣β∣∣2​

岭回归在估计系数 β \beta β 时，设置了一个特定形式的约束，使得最终得到的系数的 L 2 L2 L2 范数较小。 假设得到两个回归模型： h 1 = x 1 + x 2 + x 3 + x 4 h_1=x_1+x_2+x_3+x_4 h1​=x1​+x2​+x3​+x4​ h 2 = 0.4 x 1 + 4 x 2 + x 3 + x 4 h_2=0.4x_1+4x_2+x_3+x_4 h2​=0.4x1​+4x2​+x3​+x4​ 两个模型得到的残差平方和相同，但是 h 1 h_1 h1​的惩罚项为 4 λ 4\lambda 4λ， h 2 h_2 h2​的惩罚项为 18.16 λ 18.16\lambda 18.16λ 相比得出，岭回归更倾向于 h 1 h1 h1

岭回归的特点： 岭回归是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数，它是更为符合实际、更可靠的回归方法，对存在离群点的数据的拟合要强于最小二乘法。

不同与线性回归的无偏估计，岭回归的优势在于它的无偏估计，更趋向于将部分系数向0收缩。因此，它可以缓解多重共线问题，以及过拟合问题。但是由于岭回归中并没有将系数收缩到0，而是使得系数整体变小，因此，某些时候模型的解释性会大大降低，也无法从根本上解决多重共线问题。

学习算法的目标函数中使用的许多元素（例如支持向量机的RBF内核或线性模型的L1和L2正则化器）都假定所有特征都围绕0居中并且具有相同顺序的方差。

如果某个特征的方差比其他特征大几个数量级，则它可能会支配目标函数，并使估计器无法按预期从其他特征中正确学习。

class sklearn.preprocessing.StandardScaler(*, copy=True, with_mean=True, with_std=True)

模型类方法：

参考3 标准化官网 参考4

带有 L 2 L2 L2 正则化的最小二乘法

class sklearn.linear_model.Ridge(alpha=1.0, *, fit_intercept=True, normalize=False, copy_X=True, max_iter=None, tol=0.001, solver='auto', random_state=None)

模型对象的参数：

模型类的方法： 将模型类通过样本数据转化成模型实例，即拟合模型。

模型实例的方法：

模型实例的属性：

预测结果的评估方法：

参考5 岭回归官网

在岭回归的基础上，内置了交叉验证。默认情况下，它执行有效的“留一法”交叉验证。

RidgeCV不同于Ridge可以输入多个超参数Alpha，以方便得出最佳Alpha。

class sklearn.linear_model.RidgeCV(alphas=0.1, 1.0, 10.0, *, fit_intercept=True, normalize=False, scoring=None, cv=None, gcv_mode=None, store_cv_values=False, alpha_per_target=False)

模型对象的参数：

模型类的方法： 将模型类通过样本数据转化成模型实例，即拟合模型。

模型实例的方法：

模型实例的属性：

预测结果的评估方法：

参考6 交叉验证岭回归官网 参考7 参考8

同样以波士顿房价数据为例：

改编多项式回归+线性回归案例，使用岭回归来测试不同degree的图像显示。

结果展示： 可见阶数越高，曲线的弯曲形状越大，越接近函数曲线。