写在前面： 这篇文章旨在梳理kaggle回归问题的一个基本流程。博主只是一个数据分析刚入门的新手，有些错漏之处还请批评指正。很遗憾这个项目最后提交的Private Score只达到了排行榜的TOP13%，我目前也还没有更好的方法去进一步提高分数，不过整个项目做完之后对kaggle回归预测项目的解题思路有了一套比较完整清楚的认识，总结出来和大家分享，欢迎共同探讨。 完整的代码放在github：kaggle房价预测完整代码

房价预测是kaggle的一个经典Data Science项目，作为数据分析的新手，这是一个很好的入门练习项目。 任务很明确，就是要根据给出的79个特征，预测对应的房价，这些特征包括房子的类型、临街宽度、各层的面积等等。 数据可以在以下链接下载： Kaggle: House Price 给出的数据包括四份文件： · ‘train.csv’：训练数据 · ‘test.csv’：测试数据 · ‘data_description.txt’：说明各个特征的文档 · ‘sample_submission.csv’：预测结果提交的示例

Kaggle给出的评价指标是回归问题中常用的均方误差（RMSE）： R M S E = 1 n ∑ i = 1 n ( y i − y i ^ ) 2 RMSE = \sqrt{\frac{1}{n}\displaystyle\sum_{i=1}^n(y_i-\hat{y_i})^2} RMSE=n1​i=1∑n​(yi​−yi​^​)2 ​

俗话说，知己知彼 百战不殆。拿到数据之后要做的第一件事就是了解你手中的这份数据。

首先导入必要的库：

先来看看训练集：

The shape of training data: (1460, 81)

可以看到训练数据的大小是1460*81，也就是说训练数据总共有1460条，81列，其中最后一列是我们的预测目标：SalePrice。（训练数据的表格因为太长，我这里没有全部放出来） 再来看看测试数据：

The shape of testing data: (1459, 80)

测试数据一共是1459条，80列。 注意到Id这一列是直接从1顺次排到2919的，训练数据取的是1 ~ 1460，测试数据取的是1461 ~ 2919，说明Id和房价没有任何关系，所以直接去掉这一列：

The shape of training data: (1460, 80) The shape of testing data: (1459, 79)

去掉之后训练数据大小是146080，测试数据是145979。

要了解整个数据，我们首先得了解要预测的目标值，包括两方面：目标值的分布、其他特征与目标值的关系。 我们先来看看目标值的分布：

明显的右偏分布，这就意味着我们之后要对目标值做一些处理，因为回归模型在正态分布的数据集上表现更好。 再看看目标值的统计值：

count 1460.00 mean 180921.20 std 79442.50 min 34900.00 25% 129975.00 50% 163000.00 75% 214000.00 max 755000.00 Name: SalePrice, dtype: float64

最大值和均值之间差距比较大，可能会存在异常值。 这里有一个小trick：把类别特征和数字特征分离开来，在处理的时候会比较方便。

number of numeric features: 36 number of categorical features: 43

总共有36个数字特征，43个类别特征。 查看目标值和数字特征之间的关系（查看数字特征通常采用散点图）：

可以看到，‘TotalBsmtSF’、'GrLiveArea’与目标值之间有明显的线性关系，那么这两个值对目标值的预测应该会有很大的帮助，这就是我们要重点关注的特征。 在类别特征中，凭直觉来看，'Neighborhood’这个特征应该是很重要的，房子的房价往往和周围的房价是差不多的，为了验证这个想法，我们来看看不同类型的’Neighborhood’房价的分布情况（查看类别特征通常采用箱线图）：

不同的’Neighborhood’类型房价的分布区间是明显不同的，这验证了我们的猜想。 在逛kaggle的kernel的时候，有人提到不同年份的房价会不会跟通胀有关系，我觉得这是个很有意思的想法，于是用同样的方法来看一下出售年份’YrSold’和房价的关系：

看起来不同的出售年份房价的分布状态差不多，所以我们就不考虑把各个年份的通胀数据加进来了。

单个特征分析完了，我们来看看所有特征之间的相关关系：

由于特征比较多，我们可以取与目标值相关度最高的十个特征再次绘制相关度热图：

并绘制这十个特征两两之间的散点图：

到这里，对数据的探索就基本完成了。目前可以看出，‘TotalBsmtSF’、‘GrLiveArea’、'Neighborhood’这几个是我们要重点关注的特征。

观察’TotalBsmtSF’、'GrLiveArea’与目标值的散点图，可以看到存在异常值：

‘TotalBsmtSF’-'SalePrice’基本呈线性关系，右下角有一个明显的异常值。我们去掉这个异常值，并重新绘图检查以下：

MiscVal 24.43 PoolArea 15.93 LotArea 12.56 3SsnPorch 10.29 LowQualFinSF 9.00 KitchenAbvGr 4.48 BsmtFinSF2 4.25 ScreenPorch 4.11 BsmtHalfBath 4.10 EnclosedPorch 3.08 MasVnrArea 2.69 OpenPorchSF 2.34 LotFrontage 1.55 WoodDeckSF 1.54 MSSubClass 1.41 GrLivArea 1.01 BsmtUnfSF 0.92 1stFlrSF 0.89 2ndFlrSF 0.81 BsmtFinSF1 0.76 OverallCond 0.69 HalfBath 0.68 TotRmsAbvGrd 0.66 Fireplaces 0.63 BsmtFullBath 0.59 TotalBsmtSF 0.51 dtype: float64

由于数据中可能存在许多没有处理的异常值，为了增强模型对异常值的刚度，我们采用Box Cox转换来处理偏斜数据：

怎么构建新的特征是解决数据科学问题的关键，特征构造的好，就能够提高模型的得分上限，而这一点需要敏锐的直觉和长期的经验。 我们这里主要围绕与目标值相关度大的几个特征来构造新的特征：

先获得要处理的特征：

[‘SaleCondition’, ‘LotConfig’, ‘MSZoning’, ‘GarageType’, ‘RoofStyle’, ‘BldgType’, ‘MasVnrType’, ‘Condition1’, ‘Neighborhood’, ‘Electrical’, ‘MiscFeature’, ‘SaleType’, ‘Condition2’, ‘Heating’]

把训练数据和测试数据连接起来一起处理（因为独热编码不会产生数据泄露，所以可以放在一起处理）：

数据处理的代码和模型预测的代码最好是分成两个文件，保存处理后的数据，这样处理后的数据可以随时读入模型中进行预测，不用每次测试新的模型的时候都把前面数据处理的代码重新跑一遍。 把连接起来的所有数据再拆分回训练集和测试集：

The shape of training data: (1458, 160) The shape of testing data: (1459, 159)

保存处理后的数据：

先读取训练集和测试集：

在数据探索的时候，我们发现目标值是右偏斜的，所以对目标值取对数，将其处理成近似正态分布。 查看目标值的分布：

Skewness of target: 1.8812964895244009 kurtosis of target: 6.523066888485879

明显右偏，取对数：

Skewness of target: 0.12157976050304879 kurtosis of target: 0.8047507917418972

此时目标值已经接近正态分布了。

模型的验证有两种方法：留出法和交叉验证。因为训练集的数据较少，所以采用十折交叉验证：

这里选择回归问题常用的六个模型： · Lasso · ElasticNet · Ridge · Gradient Boosting · LightGBM · XGBoost kaggle的比赛中单个模型能做好，那么模型融合后的效果就不会差，因此，要反复地调参，找到模型的最佳参数。以下给出的参数设置是已经经过调参得到的，关于调参网上有很多经验分享，这里不另行赘述，调参部分的代码我也放在github中了。

用之前设定的评估方法进行评估：

Lasso score: 0.11068147519566576(0.0073942264704033155) ElasticNet score: 0.11091904371233648(0.007532173448331412) Ridge score: 0.11119303368441777(0.00758400106291327) Gradient Boosting score: 0.11865538871859024(0.009497984510023386) LightGBM score: 0.118318792967013(0.010364808635531306)

模型融合有Stacking和Blending两种方法，可以直接采用mlxtend库提供的StackingCVRegressor构建Stacking模型：

先定义评估方法，采用kaggle规定的评估方法：

评估模型：

RMSE of Lasso: 0.0989275731446597 RMSE of ElasticNet: 0.09866027051143429 RMSE of Ridge: 0.09681908262749463 RMSE of Gradient Boosting: 0.06583064311955181 RMSE of LightGBM: 0.0641626832182992 RMSE of XGBoost: 0.02286417135304461 RMSE of Stacking_model: 0.09431153828814741

Lasso finished. ElasticNet finished. Ridge finished. Gradient Boosting finished. LightGBM finished. XGBoost finished. Stacking_model finished.

采用两种比较简单的融合方法：均值融合和加权融合。 均值融合：

RMSE of average model on training data: 0.07286858974899155

加权融合，根据各模型的得分取合适的权重：

RMSE of weight model on training data: 0.07525884061133567

可以看到，加权融合比均值融合有更好的表现。

可以把最后的结果保存起来，以便以后有更好的想法对这些结果进一步处理，提高得分。 提交到kaggle得到的Private Score如下图：