目录

一、集成学习 （Ensemble methods）的定义和分类

二、随机森林random forest  的定义和分类

三、sklearn.ensemble.RandomForest_()参数

各个代表算法的详解，请点击链接：官方文档地址

集成学习分为2种体系：

             · 代表算法有：Bagging Methods，Forests of randomized trees，等。                                                                               

             · 最大优点：可以方便的进行并行训练。  

           · 代表算法有：AdaBoosting，Gradient Tree Boosting，等。

含义：“随机森林”喻指集成学习器，森林中的一棵树树喻指一个“基学习器”，是bagging算法 的调整版。通过在原始数据集里采用有放回的随机抽样方法，从总样本集中得到n个子样本集，但是决策树在判断分割点的时候，有可能选用的属性个数小于子样本集的，再在此基础上，分别训练出n个CART“基学习器”，应用时分别从n个“基学习器”得到n个结果： 

分类：在scikit-learn中，RandomForest的分类是sklearn.ensemble.RandomForestClassifier，回归是sklearn.ensemble.RrandomForestRegressor。

对Bagging Methods算法在如下方面进行了改进：

                PS：版本0..20里n_extimator默认值是10，版本0.22默认值为100.

criterion：string型参数，可选（默认值为“gini”）。用来设定比选取分枝字段的方法，有“gini”和“entropy”两种分枝标准。

max_depth：integer型，可选（默认值为“None”）。用来设定决策树的层数。如果是“None”，决策树的层数会一直拓深下去，直到所有的叶的纯度为100%（纯度概包含在于gini/entropy概念上），或者所有叶子里的样本数小于提前设定的min_samples_split。

min_samples_split：或 int型，或 float型，可选（默认值为2）。用来设定分割内部结点的最小样本数量：如果是int型，那么将min_smaples_split作为最小值；如果是float，那么min_samples_split是一个分数，ceil(min_samples_split*n_samples)是每次分割的最小样本数。

min_samples_leaf：或int型，或float型，可选（默认值为1）。用来设定叶节点上最小的样本数。无论分割节点在哪个层次，只有当左右分支中留有不低于min_samples_leaf数量的训练样本时，才会被考虑。尤其在回归的时候，它或许能有平滑模型的效果。如果是int型，那么min_samples_leaf作为最小值；如果是float型，那么min-samples_leaf是一个分数，ceil(min_smaples_leaf * n_samples)是每次分割的最小数。

min_weight_fraction_leaf：float型，可选（默认值为0）。用来设定叶节点上所需的（所有输入样本）总权重的最小加权分数。当没有提供sample_weight是，样品的权重相等。

max_features：或int型，或float型，或string型，或None，可选（默认值为“auto”）。用来设定在寻找最佳分割点时的feature数。

如果是int型，那么每个分割点处用数max_features；

如果是float型，max_reatures是一个分数，那么数int(max_features * n_features)是每次分割的数；

如果是“auto”/“sqrt”，那么数max_features=sqrt(n_featrues)

如果是“log2”，那么数max_features=log2(n_features)

如果是“None”，那么数max_features=n_features.

……未完。

Refressor与Classifier相比，参数部分一致，除了这4处：