一统浆糊 2021-05-05 18:58

变量筛选中常用方法解释

R语言| 16. 预测模型变量筛选: 代码篇 (qq.com)

在进行多因素回归（多重线性回归、logistic回归、Cox回归等）时，为了得到简洁有效的模型，我们会做变量筛选（模型选择）。根据专业进行变量的筛选才是王道，统计学检验只是辅助验证你的专业结论。我们不提倡把一堆变量放进软件由软件来筛选预测变量，但也不能因此否定统计筛选的作用。常用的统计学方法筛选方法有逐步回归（向前法、后退法、向前后退混合法）以及全子集回归（All-Subsets Regression，All Possible Regression）。全子集回归可以对所有预测变量的可能组合模型都拟合一下，然后根据某标准（如R2、校正的R2、MSE、Cp、AIC、SBIC等）筛选出现有变量条件下的最佳模型，又叫最优子集筛选（Best Subset Selection）。有些教程把最优子集定义为从含相同自变量的个数的所有模型中挑选出最佳的模型组合，比如ABCD四个自变量，可以有2^4=16个模型，其中常数项模型1个，含1个自变量的模型4个（A、B、C、D），含2个自变量的模型6个（AB、AC、AD、BC、BD、CD），含3个自变量的模型4个（ABC、ABD、ACD、BCD），含4个自变量的模型1个（ABCD），分别从含有1、2、3、4个自变量的模型中挑选出最佳的一个模型就可以组成最优子集。

R中能实现最优子集回归的函数有很多，R Site Search[http://finzi.psych.upenn.edu/search.html]可以直接搜索相关函数，你会搜到很多，比如bestglm {bestglm}、lmSubsets {lmSubsets}、leaps {leaps}/regsubsets {leaps}、bess {BeSS}、bestsubset {StepReg}、ols_step_all_possible{olsrr}、ols_step_best_subset{olsrr}。

回归与判定标准

逐步回归，模型判定：AIC，值越小模型越优； 

全子集回归，模型判定，调整R²，值越大模型越优，BIC和CP值越小越好；

Lasso回归+交叉验证：模型判定，MSE，具体见下文。

示例：中的数据。

【1-3】数据导入>>数据初步考察与处理>>拟合多重线性回归模型

library(haven)

lmdata