在竞赛中如果对多个预测结果进行集成，最方便的做法是直接对预测结果进行加权求和。此时不同任务，加权方法不同：

分类任务：类别投票 & 概率值加权

回归任务：预测值加权

排序任务：排序次序加权

目标检测任务：预测结果NMS

语义分割任务：像素类别投票 & 加权

在本文中我们将介绍最常见的分类 & 回归任务的结果加权方法，也就是Blend操作。

项目代码、数据、技术交流提升，均可加交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友

方式①、添加微信号：dkl88191，备注：来自CSDN 方式②、微信搜索公众号：Python学习与数据挖掘，后台回复：加群

在对结果进行集成时需要考虑如下两点：

模型的多样性：

模型的精度差异；

集成学习的精度收益是需要模型&预测结果的多样性，如果多样性不足，则最终预测结果和单个模型类似。

精度差异是指模型之间的精度差异，如果精度差异很大最终集成的效果也不会很好。如下情况2的模型精度差异就较大。

Out of fold又名袋外预测，是一个模型在交叉验证的过程中使用训练部分进行训练，然后对验证集进行预测，交替得到训练集和测试集预测结果。

如果我们拥有三个模型，通过交叉验证可以得到3个训练集预测结果和3个验证集预测结果。

如下展示的几种方法，都需要训练集标签 与 训练集预测结果搜索得到参数，然后将参数在测试集上进行使用。

原理：对所有模型的预测结果计算均值；

优点：简单，过拟合可能性低；

缺点：会受到模型原始精度差异的影响；

原理：对所有模型的预测结果加权求和；

优点：比均值更加可控；

缺点：权重需人工设置，更容易过拟合；

原理：对预测结果进行排序，使用次序代替原始取值；

优点：适合分类任务，对概率进行集成；

缺点：会受到模型原始精度差异的影响；

原理：对预测结果进行排序，使用次序进行加权求和；

优点：比均值更加可控；

缺点：权重需人工设置，更容易过拟合；

原理：权重进行搜索，保留最优的权重；

优点：可以自动权重权重大小；

缺点：更容易过拟合；

原理：使用线性回归确定权重

优点：可以自动权重权重大小；

缺点：需要额外训练，容易过拟合；

原理：使用优化方法搜索权重

优点：可以自动权重权重大小；

缺点：需要额外训练，容易过拟合；