岭回归是一种用于处理多重共线性问题的回归算法。多重共线性指的是自变量之间存在高度相关性的情况。岭回归通过添加一个正则化项来解决这个问题，该项会惩罚模型中的大系数，从而减小自变量之间的相关性。

套索回归是一种用于特征选择的回归算法。特征选择是指从所有可能的自变量中选择出最重要的自变量。套索回归通过添加一个正则化项来实现特征选择，该项会使得一些自变量的系数变为零，从而将它们排除在模型之外。

弹性网络回归是岭回归和套索回归的结合。它综合了岭回归和套索回归的优点，既能处理多重共线性问题，又能进行特征选择。

这些回归算法在机器学习中被广泛应用，可以根据具体问题选择合适的算法来进行预测和建模。 在本文中，我将向您介绍Ridge和Lasso回归算法。Ridge和Lasso回归是用于在线性回归模型中添加惩罚项以防止过度拟合的正则化技术。正则化是一种帮助解决机器学习模型过度拟合问题的技术。它被称为正则化，因为它有助于保持参数正常或正则。常见的技术是L1和L2正则化，通常称为Lasso和Ridge回归。

正如我们所知，在线性回归中，我们可以使用一些点来绘制最佳拟合线，在这个例子中，我有一个单独的独立特征，它是x，输出是y。我有一些点，就像这样，我正在尝试使用线性回归的帮助创建最佳线。

请假设训练数据集只有两个像这样的点。我通常会创建通过这两个点的最佳拟合线。现在我们正在尝试使用通过这两个点的这条线来计算住宅总和。我也将其视为成本函数，因为我需要减少这个成本函数。

现在我将尝试绘制通过所有点的直线，如下所示。 现在，如果我尝试计算成本函数，J(θ0,θ1)的值为0，因为这条线通过图表的原点，θ0将为零。所以这种数据集被称为训练数据。所以我们可以向其中添加一个新的数据点（红点），我们可以称之为测试数据，然后你会看到新添加的数据点与我们创建的线之间存在一个间隙**(E)。这就产生了一种被称为过拟合**的条件。 过拟合条件

这意味着模型在训练数据上表现良好，但在测试数据上表现不佳。

当模型在训练数据上表现良好（低偏差），但在测试数据上表现不佳（高方差）时，就称为过拟合。

因此还有另一种情况称为欠拟合。

当模型在训练数据上表现不佳（高偏差）并且在测试数据上表现糟糕（高方差）时，就称为欠拟合。

假设我有三个模型，分别称为模型1、模型2和模型3。模型1数据集的训练准确率为90%，测试准确率为80%。在模型2中，数据集的训练准确率为92%，测试准确率为91%。在模型3中，数据集的训练准确率为70%，测试准确率为65%。在模型1数据集中，我们可以称之为过拟合模型。在模型2数据集中，我们可以得到泛化模型。在模型3数据集中，我们可以得到欠拟合模型。 所以对于第一个模型，它将是低偏差和高方差；对于第二个模型，它将是低偏差和低方差；对于第三个模型，它将是高偏差和高方差。因此，我们总是期望一个泛化模型，因为泛化模型能够给我们一个优秀的输出。

误差函数（上图蓝色线）是基于训练数据集计算的。当模型与训练数据过度拟合时，它将被称为过拟合。在这种情况下，模型在训练数据上表现非常好，但在测试数据上表现非常差。为了中和或优化这个误差，进行正则化操作，从而帮助保持参数的正常或正则。因此，在这种情况下，正则化技术就出现了。

使用L1正则化技术的回归模型称为Lasso回归*，而使用L2的模型称为Ridge回归*。

这两者之间的关键区别在于惩罚项。

Ridge回归将系数的“平方幅度”作为惩罚项添加到损失函数中。这里方程的最后一部分表示L2正则化元素（λ [i =1 -> m Σ (斜率)²]）。

现在让我们观察一下这将如何减少过拟合。

现在你知道了你的新的最佳拟合线的代价函数是最小的而不是零。你可以找到一个小的斜率值，当它是一个小的值时，你的代价函数也会得到一个小的值。这就是岭回归确保过拟合不会发生的方式。

我将从第一篇文章的例子中解释这个问题。让我们尝试改变Lambda的值，并观察代价函数图的分布情况。

你可以记得我使用了一个类似这样的数据集来计算代价函数。 然后当λ为零时，我得到了关于θ1的J(θ1)值，如下所示。

现在我们改变λ并观察J(θ1)代价函数和梯度下降。我假设λ的值为1、2、3。这是我得到的结果。

输出结果：

现在我正在尝试绘制这些点。

所以λ在这里是一个超参数。当我们观察λ和斜率之间的关系时，可以看到当λ增加时，斜率减小。

假设我有一个多元线性回归模型，如hθ(x)=θ0 + θ1x1 + θ2x2 + θ3x3。让我们尝试理解如何通过使用岭回归来减少过拟合。

我们使用这个算法进行特征选择。特征选择意味着不那么重要的特征将自动被删除，而非常重要的特征将被考虑。它将系数的**“*绝对值的大小*”**作为惩罚项添加到损失函数中。为了进行特征选择，我们使用了如下的方程。

如果我试图确定λ和斜率之间的关系，并绘制成本函数的图形，它看起来像这样。 相似性是指当λ增加时，梯度下降(θ)减小，但是可以看到在某一点后，θ的值变为零。当θ的值（斜率或系数）为零时，我们实际上移除了该特定特征。假设你有多元线性回归，如hθ(x)=θ0 + θ1x1 + θ2x2 + θ3x3 + θ4x4，并且假设你的θ4非常小，当我们将Lasso回归应用于成本函数时，θ4的值在某一点变为零。因此，我们可以移除该θ4特征。

当一个特征与其他特征没有很强的相关性（具有较小的系数值）时，我们可以从整个方程中移除该特征，并使用剩余的特征来找到最佳拟合线。

我们什么时候使用Lasso回归？

假设你有数百个特征，你可以应用这种Lasso回归，并移除那些相关性不大的特征。

这些技术之间的关键区别在于，Lasso将不重要的特征系数收缩到零，从而完全移除一些特征。因此，在拥有大量特征的情况下，这对于特征选择非常有效。

该算法是岭回归和Lasso回归的组合。在这里，我们减少过拟合并进行特征选择。

成本函数如下所示，

其中：

假设我们有一个存在过拟合条件和许多特征的模型，我们可以使用Elastucnet回归。

正则化项惩罚系数的绝对值。

将无关的值设为0。

可能会在模型中删除太多特征。

惩罚回归系数的大小（幅度的平方）。

强制B（斜率/偏斜）系数较低，但不为0。

不会删除无关特征，但会最小化它们的影响。

希望您对LASSO（L1正则化）和岭回归（L2正则化）有了很好的理解。