机器学习实战（三）

——

决策树

⽂章⽬录

决策树

(声明：本⽂内容来⾃机器学习实战和统计学习⽅法，是两者的整合，并⾮来⾃单个书籍）

决策树（decision tree）：是⼀种基本的分类与回归⽅法，此处主要讨论分类的决策树。

在分类问题中，表⽰基于特征对实例进⾏分类的过程，可以认为是if-then的集合，也可以认为是定义在特征空间与类空间上的条件概率分

布。

决策树通常有三个步骤：特征选择、决策树的⽣成、决策树的修剪。

⽤决策树分类：从根节点开始，对实例的某⼀特征进⾏测试，根据测试结果将实例分配到其⼦节点，此时每个⼦节点对应着该特征的⼀个取

值，如此递归的对实例进⾏测试并分配，直到到达叶节点，最后将实例分到叶节点的类中。