统计学习方法与Python实现（三）——朴素贝叶斯法

　　iwehdio的博客园：https://www.cnblogs.com/iwehdio/

　　朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。

　　对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布。然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y，从而进行决策分类。

　　朴素贝叶斯法学习到的是生成数据的机制，属于生成模型。

　　设Ω为试验E的样本空间，A为E的事件，B1~Bn为Ω的一个划分，则有全概率公式：

　　对于训练数据集：。

　　我们的目的是从训练集中学习到联合概率分布P(X, Y)，为此先学习后验概率分布和条件概率分布。

　　后验概率分布，即类标签Y的概率分布，条件概率分布即在类标签Y确定的情况下输入特征向量x的分布。

　　从中学习后验概率分布：

　　从中学习条件概率分布：

　　条件概率分布的参数是指数级数量的，对其进行参数估计是不可能的。因此，对条件概率分布做独立性假设，认为输入特征向量x的各个分量是独立的，这也是“朴素”的含义。这样做简化了模型，但是也牺牲了分类的准确率。

　　条件独立性假设：

 　　朴素贝叶斯法进行分类时，对于输入特征向量x，通过学习到的模型计算后验概率。主要是之前学习的后验概率和条件概率，带入全概率公式，可得输入x的条件下，输出y取各个值的概率，并且将概率最大的y作为分类结果。

　　朴素贝叶斯法分类的基本公式为：

 　　朴素贝叶斯分类器为：

 　　分母为定值，则进一步简化可得：

　　一般的分类方法都有损失函数的概念，优化的目标也是最小化损失函数。朴素贝叶斯法直接要求将实例分到后验概率最大的类中有何含义？实际上，这也等价于期望风险即损失函数最小化。

　　如果对模型f(X)取0-1损失函数L(Y,f(X))，即分类正确损失L取0，分类错误L取1。则期望风险函数为：

 　　因为每个输入特征向量x是独立的，因此只需对每个X=x的实例进行极小化。

 　　即推导得到了后验概率最大化准则。

　　参数学习即确定每个先验概率和条件概率，一般用极大似然估计法。

　　先验概率P(Y = ck)的极大似然估计是：

　　条件概率（即Y取ck时X的第j个特征取第l个值的概率）的极大似然估计是：

 　　其中，函数I(.)表示当括号内的条件满足取1，不满足取0。

　　朴素贝叶斯算法为：

　　a、对于给定的训练数据集，计算先验概率和条件概率。

，  

　　b、对于给定的实例x，计算

　　c、确定实例x的类

　　极大似然估计可能会使所要估计的概率为0的情况，这时会导致计算条件概率时分母为0，使分类出现偏差。可以用贝叶斯估计来解决此问题，即在随机变量各个取值的聘书上加一个正数λ。λ取0时为极大似然估计，λ取1时为拉普拉斯平滑。贝叶斯估计下的条件概率为：

 　　贝叶斯估计下的先验概率为：

　　数据集选择mnist手写数字集，数据集中为0~255的整数，先读入数据并对其进行0-1二值化。并初始化数组记录条件概率和先验概率。

　　然后在训练集上进行学习，计算先验概率和条件概率。

　　最后，在测试集上进行测试。

　　lam=1时的测试结果为acc=0.8413。

 　　更改lam的值，lam=0时，acc=0.8410；lam=2时，acc=0.8411；lam=5时，acc=0.8407；lam=10时，acc=0.8399。总的而言影响不大。

　　因为朴素贝叶斯方法是生成模型，所以可以通过训练好的模型生成出模型学习到的特征，也就是生成模型认为最像某个数字的图像。最简单的思想就是，因为我们假设输入特征向量x的各个维度的值是独立的，所以可以输入一个初始向量，然后比较每个维度上取0或1时，模型输出的概率大小，然后将各个维度的值置为更大的概率所对应的值。代码实现如下：

　　最后的输出结果为：

参考：李航 《统计学习方法（第二版）》

iwehdio的博客园：https://www.cnblogs.com/iwehdio/