用R代码展示LASSO回归教程

您所在的位置:网站首页 r语言如何做logistic回归 用R代码展示LASSO回归教程

用R代码展示LASSO回归教程

#用R代码展示LASSO回归教程| 来源: 网络整理| 查看: 265

介绍

Lasso回归是一种方法,我们可以使用它来拟合回归模型。尤其是当数据中存在多重共线性时,常规的最小二乘法的算法会有很多冗余项。而LASSO回归可以用来筛选自变量。

简而言之,最小二乘回归试图找到系数估计,以最小化

平方残差和(RSS):

RSS = Σ(yi – ŷi)2

其中:

Σ:希腊符号,表示总和 yi:第i个观测值的实际响应值 ŷi:基于多元线性回归模型的预测响应值

相反,Lasso 回归试图最小化以下内容:

RSS + λΣ|βj|

其中j的范围从1到p预测变量,λ≥0。

该方程中的第二项称为收缩惩罚。 在Lasso回归中,我们选择一个λ值,该值产生最低可能的测试MSE(mean squared error 均方误差)。

本教程提供了如何在R中执行Lasso回归的逐步示例。

步骤1 加载数据

对于此示例,我们将使用R内置数据集mtcars。我们将使用hp作为响应变量,并使用mpg wt drat qsec作为预测变量:

要执行Lasso回归,我们使用glmnet包来做Lasso回归。 此包要求响应变量为向量,并且预测变量集必须为类data.matrix。

#install.packages("glmnet") library(glmnet) y


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3