《统计学习方法》笔记

1.感知机

适用问题：二分类问题

模型特点：分离超平面

模型类型：判别模型

学习策略：极小化误分类点到超平面距离

学习的损失函数：误分类点到超平面距离

学习算法：随机梯度下降法

2.k近邻

适用问题：多类分类，回归

模型特点：特征空间，样本点

模型类型：判别模型

3.朴素贝叶斯法

适用问题：多类分类

模型特点：特征与类别的联合概率分布、条件独立假设

模型类型：生成模型

学习策略：极大似然估计，极大后验概率估计

学习的损失函数：对数似然损失

学习算法：概率计算公式，EM算法

4.决策树

适用问题：多类分类，回归

模型特点：分类树，回归树

模型类型：判别模型

学习策略：正则化的极大似然估计

学习的损失函数：对数似然损失

学习算法：特征选择，生成，剪枝

5.逻辑回归与最大熵模型

适用问题：多类分类

模型特点：特征条件下类别的条件概率分布，对数线性模型

模型类型：判别类型

学习策略：极大似然估计，正则化的极大似然估计

学习的损失函数：逻辑损失

学习算法：改进的迭代尺度算法，梯度下降，拟牛顿法

6.支持向量机

适用问题：二分类问题

模型特点：分离超平面，核技巧

模型类型：判别模型

学习策略：极小化正则化合页函数，软间隔最大化

学习的损失函数：合页损失

学习算法：序列最小优化算法（SMO）

7.提升方法

适用问题：二分类

模型特点：弱分类器的线性组合

模型类型：判别模型

学习策略：极小化加法模型的指数损失

学习的损失函数：指数损失

学习算法：前向分布加法算法

8.EM算法

适用问题：概率模型估计参数

模型特点：含隐变量概率模型

学习策略：极大似然估计，极大后验概率估计

学习的损失函数：对数似然损失

学习算法：迭代算法

9.隐马尔科夫模型

适用问题：标注

模型特点：观测序列与状态序列的联合概率分布模型

模型类型：生成模型

学习策略：极大似然估计，极大后验概率估计

学习的损失函数：对数似然损失

学习算法：概率计算公式，EM算法

10.条件随机场

适用问题：标注

模型特点：状态序列条件下观察序列的条件概率分布，对数线性模型

模型类型：判别模型

学习策略：极大似然估计，正则化极大似然估计

学习的损失函数：对数似然损失

学习算法：改进的迭代尺度算法，梯度下降，拟牛顿法