朴素贝叶斯算法（Naive Bayesian algorithm) 是应用最为广泛的分类算法之一，在垃圾邮件分类等场景展露出了非常优秀的性能。

朴素贝叶斯，名字中的朴素二字就代表着该算法对概率事件做了很大的简化，简化内容就是各个要素之间是相互独立的。 比如今天刮风和气温低，两个要素导致了不下雨的结果。实际上刮风可能导致气温低，而且刮风对于天晴的影响会更大，朴素贝叶斯认为刮风和气温之间相互独立，且对于是否下雨这个结果的影响没有轻重之分。用公式来表示这种独立性就是： 在介绍朴素贝叶斯公式前，先介绍一下条件概率公式。条件概率表示在B已经发生的条件下，A发生概率。 朴素贝叶斯公式就是条件概率的变形。 假设已有数据为 其中x为属性值，y为分类结果，共有n个已有数据。每个x有多种属性，以第一组数据为例，上标表示第几个属性值，x的具体表示如下 假设y的可取值为(c1,c2,…,ck) 则贝叶斯公式表示为 由公式可以看出，贝叶斯公式就是条件概率的公式。贝叶斯公式的解释很简单：在已有数据的基础上，出现了一个新数据，只有X=(a1,a2,…,am)，来预测y的取值。贝叶斯公式就是求在目前X发生的情况下，y取不同值的概率大小进行排序，取最大概率的y值。 其中X有多个属性，朴素贝叶斯假设各个属性之间是独立的，因此 因此朴素贝叶斯公式可以写成 此公式的含义就是在目前已知历史数据数据的前提下，出现了一个新的X，求在X已经发生的条件下，y取不同值的概率，然后取使得条件概率最大的y作为预测结果。也就是说寻找y的取值Cn，使得上式最大，用公式表示就是 这里可以看出，不论求y取任何值Ci的概率，分母都不变，为P(x=X)，因此该公式可以简化为：（正因为将P(x=X)省略了，所以我就没有将P(x=X)写成全概率公式的样子) 其中P(y=Cn)是指y取Cn的值的数量占所有y值数量的百分比；P(xi=ai|y=Cn)表示在y取值为Cn的条件下，xi=ai的条件概率。公式表示如下：（I()函数表示当括号内的条件成立时，记为1。） 到这里，朴素贝叶斯的基础原理就完了。顺便提一下生成模型和判别模型吧。大家可以看到，朴素贝叶斯算法在进行判断时，每次都要用到历史数据，在求得概率分布的情况下再对新数据预测，这就是生成模型。什么是判别模型呢，简单的说就是像神经网络算法那种，训练完将各种权重保存起来，有了新数据直接使用权重带入进行计算，最后得出判别结果。这只是顺带提了一句，让读着有个大概的认识，语言并不是很严谨，如果读着想了解更多，请寻找相关的专业介绍生成和判别模型的文章。

这里使用了《统计学习方法-李航》里的例子。 历史数据为 x是二维向量，第一维度可取值（1,2,3），第二维度可取值(S,M,L)，y可取值（-1,1）。目前有一个新数据x(2,S),使用朴素贝叶斯算法确定y的取值。 解： 目标是比较在数据x(2,S)下，不同y值的条件概率，也就是求P(y=1|x=(2,S))和P(y=-1|x=(2,S))的大小。 由此公式可知，分母相同，只需要对比分子的大小。 注意： P(x1=2|y=1)=3/9数错了，不好意思。图片不方便改，望知悉。

所以y的取值是-1

大家在解例子的时候有没有发现一个问题，假如

标红框的连乘中有一项为0，也就是说在y取值为Cn的条件下，ai的值没有出现过，所以P(x=X|y=Cn)=0，也就是说y取Cn的可能性为0，与实际不符。很明显这种情况产生了严重的偏差。 为了纠正这种情况产生的偏差，对等式右边的概率计算进行了改进

对于例子1，使用拉普拉斯平滑后的概率计算公式来预测。我把题目复制一下，虽然看着累赘，省的回去一直翻着看。 历史数据为 x是二维向量，第一维度可取值（1,2,3），第二维度可取值(S,M,L)，y可取值（-1,1）。目前有一个新数据x(2,S),使用朴素贝叶斯算法确定y的取值。 解： 因此可以看出y=-1的概率更大，因此预测结果为-1。这个结果与例子1的结果相同。 本文主要参考了《统计学习方法》这本书，只希望把学习结果能分享给对的人，总结的内容比较浅显简单。