随机森林random forest及python实现

您所在的位置:网站首页 python随机森林算法 随机森林random forest及python实现

随机森林random forest及python实现

2024-07-16 20:38| 来源: 网络整理| 查看: 265

引言

随机森林能够用来获取数据的主要特征,进行分类、回归任务。

1. 随机森林及其特点

根据个体学习器的生成方式,目前的集成学习方法大致可分为两大类,即个体学习器之间存在强依赖关系,必须串行生成的序列化方法,以及个体学习器间不存在强依赖关系,可同时生成的并行化方法;前者的代表是Boosting,后者的代表是Bagging。

随机森林在以决策树为基学习器构建Bagging集成的基础上,进一步在决策树的训练过程中引入了随机属性选择(即引入随机特征选择)。

简单来说,随机森林就是对决策树的Bagging集成。

特点: 1、随机选择样本(放回抽样); 2、随机选择特征; 3、构建决策树; 4、随机森林投票(平均)。

举例:

比如预测salary,就是构建多个决策树job,age,house,然后根据要预测的量的各个特征(job = teacher,age = 39,house = suburb)分别在对应决策树的目标值概率( P ( s a l a r y < 5000 ∣ j o b = t e a c h e r ) P(salary



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3