贝叶斯方法是以贝叶斯定理为基础，使用概率统计的知识对样本数据集进行分类。由于其有着坚实的数学基础，贝叶斯分类算法的误判率是很低的。贝叶斯分类算法在数据集较大的情况下表现出较高的准确率，同时算法本身也比较简单。

概率，亦称“或然率”，它是反映随机事件出现的可能性（likelihood)大小。某事件A出现的概率，常用 P ( A ) P(A) P(A)表示。

贝叶斯定理源于英国数学贝叶斯（Thomas Bayes）生前为了解决逆向概率问题的一篇文章。

由于实际上的问题是不确定的，而自身的观察能力是有限的。所以有时我们需要通过观察的结果进行推测。贝叶斯方法基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身而得出的。其方法为，将关于未知参数的先验信息与样本信息综合，再根据贝叶斯公式，得出后验信息，然后根据后验信息去推断未知参数的方法。

先验概率: 是指根据以往经验和分析得到的概率。事情还没有发生，要求这件事情发生的可能性的大小，是先验概率。

假设一个学校共有 N N N个学生，有60%男生和40%女生。女生穿裤子的人数和穿裙子的人数相等，所有男生穿裤子。我们想求解一个穿长裤的学生是女生的概率。记为： P ( g i r l ∣ p a n t s ) P(girl|pants) P(girl∣pants) P ( g i r l ∣ p a n t s ) = 穿 长 裤 女 生 人 数 穿 长 裤 总 人 数 P(girl|pants)=\frac{穿长裤女生人数}{穿长裤总人数} P(girl∣pants)=穿长裤总人数穿长裤女生人数​ 穿 长 裤 总 人 数 = 总 人 数 ⋅ 穿 长 裤 的 概 率 = N ⋅ P ( p a n t s ) 穿长裤总人数=总人数\cdot 穿长裤的概率=N\cdot P(pants) 穿长裤总人数=总人数⋅穿长裤的概率=N⋅P(pants)

那么穿长裤女生人数为总人数乘以女生的概率再乘以女生中穿长裤的概率： N ⋅ P ( g i r l ) ⋅ P ( p a n t s ∣ g i r l ) N\cdot P(girl)\cdot P(pants|girl) N⋅P(girl)⋅P(pants∣girl)，所以： P ( g i r l ∣ p a n t s ) = N ⋅ P ( g i r l ) ⋅ P ( p a n t s ∣ g i r l ) N ⋅ P ( p a n t s ) P(girl|pants)=\frac{N\cdot P(girl)\cdot P(pants|girl)}{N\cdot P(pants)} P(girl∣pants)=N⋅P(pants)N⋅P(girl)⋅P(pants∣girl)​ 可以看出与总人数 N N N无关，于是： P ( g i r l ∣ p a n t s ) = P ( g i r l ) ⋅ P ( p a n t s ∣ g i r l ) P ( p a n t s ) P(girl|pants)=\frac{P(girl)\cdot P(pants|girl)}{P(pants)} P(girl∣pants)=P(pants)P(girl)⋅P(pants∣girl)​ 我们可以计算出后验概率 P ( g i r l ∣ p a n t s ) = 0.4 ⋅ 0.5 0.5 × 0.4 + 1 × 0.6 = 0.25 P(girl|pants)=\frac{0.4\cdot 0.5}{0.5×0.4 + 1×0.6}=0.25 P(girl∣pants)=0.5×0.4+1×0.60.4⋅0.5​=0.25

后验概率:指在得到“结果”的信息后重新修正的概率。事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，是后验概率。

这样我们也得到了贝叶斯公式，即 B B B条件下 A A A的概率(记作 P ( A ∣ B ) P(A|B) P(A∣B))和 A A A条件下 B B B的概率(记作 P ( B ∣ A ) P(B|A) P(B∣A))的关系： P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A|B)=\frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)​ 穿长裤的概率=是女生概率x女生穿长裤概率+是男生概率x男生穿长裤概率，于是: P ( p a n t s ) = P ( g i r l ) ⋅ P ( p a n t s ∣ g i r l ) + P ( b o y ) ⋅ P ( p a n t s ∣ b o y ) P(pants)=P(girl)\cdot P(pants|girl)+P(boy)\cdot P(pants|boy) P(pants)=P(girl)⋅P(pants∣girl)+P(boy)⋅P(pants∣boy) 根据全概率公式: P ( B ) = ∑ i = 1 n P ( B ∣ A i ) P ( A i ) P(B)=\displaystyle\sum_{i=1}^nP(B|A_i)P(A_i) P(B)=i=1∑n​P(B∣Ai​)P(Ai​) 这样，必然事件被分为n个不相交的子事件，事件 B B B的条件概率为给定每一个子事件 A i ( i = 1 , 2 , . . . , n ) A_i(i=1,2,...,n) Ai​(i=1,2,...,n)下事件B的条件概率之和。那么，给定事件 B ( P ( B ) > 0 ) B(P(B)>0) B(P(B)>0)，事件的条件概率可以写为： P ( A k ∣ B ) = P ( B ∣ A k ) P ( A k ) P ( B ) = P ( B ∣ A k ) P ( A k ) ∑ i = 1 n P ( B ∣ A i ) P ( A i ) ( k = 1 , 2 , . . . , n ) P(A_k|B)=\frac{P(B|A_k)P(A_k)}{P(B)}=\frac{P(B|A_k)P(A_k)}{\sum_{i=1}^nP(B|A_i)P(A_i)}\quad(k=1,2,...,n) P(Ak​∣B)=P(B)P(B∣Ak​)P(Ak​)​=∑i=1n​P(B∣Ai​)P(Ai​)P(B∣Ak​)P(Ak​)​(k=1,2,...,n) 这就是贝叶斯定理。

朴素贝叶斯使用的就是贝叶斯方法，使用概率统计的知识对样本数据集进行分类，但是在条件上做了一定的限制。

分类方式：在给定的条件下，计算是各个类别的概率，根据最大似然估计，是哪个类别的概率最高，就分类为该类别

朴素贝叶斯假设特征之间（朴素）独立，即特征值相互之间是没有影响的。这是一个非常强的假设，现实中往往很难成立，但简化了问题的复杂度，使求解变得简单。

输入特征向量为 x x x， x ∈ X x\in X x∈X，其中 X X X为 n n n维向量集合; 输出类类别为 y y y， y ∈ Y y\in Y y∈Y，其中 Y = { c 1 , c 2 , . . . , c j } Y=\{c_1,c_2,...,c_j\} Y={c1​,c2​,...,cj​}; 得到训练数据集： T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\} T={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)} 朴素贝叶斯算法通过训练集学习联合概率分布 P ( X , Y ) P(X,Y) P(X,Y), 联 合 概 率 = 先 验 概 率 x 条 件 概 率 联合概率=先验概率x条件概率 联合概率=先验概率x条件概率, 其中先验概率为： P ( Y = c k ) k = 1 , 2 , . . . , j P(Y=c_k)\quad k=1,2,...,j P(Y=ck​)k=1,2,...,j 条件概率为 P ( X = x ∣ Y = c k ) = P ( X ( 1 ) = x ( 1 ) , X ( 2 ) = x ( 2 ) , . . . , X ( n ) x ( n ) ∣ Y = c k ) = ∏ l = 1 n P ( X ( l ) = x ( l ) ∣ Y = c k ) P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}x^{(n)}|Y=c_k)=\displaystyle\prod_{l=1}^nP(X^{(l)}=x^{(l)}|Y=c_k) P(X=x∣Y=ck​)=P(X(1)=x(1),X(2)=x(2),...,X(n)x(n)∣Y=ck​)=l=1∏n​P(X(l)=x(l)∣Y=ck​) 分类时,对给定输入 x x x,通过学习到的模型计算后验概率分布 P ( Y = c k ∣ X = x ) P(Y=c_k|X=x) P(Y=ck​∣X=x),将后验概率最大的类作为输入 x x x的类输出.后验概率根据贝叶斯定理计算: P ( Y = c k ∣ X = x ) = P ( X = x ∣ Y = c k ) P ( Y = c k ) ∑ i = 1 k P ( X = x ∣ Y = c i ) P ( Y = c i ) = P ( Y = c k ) ∏ l = 1 n P ( X ( l ) = x ( l ) ∣ Y = c k ) ∑ i = 1 n P ( Y = c k ) ∏ l = 1 n P ( X ( l ) = x ( l ) ∣ Y = c k ) P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_{i=1}^kP(X=x|Y=c_i)P(Y=c_i)}=\frac{P(Y=c_k)\prod_{l=1}^nP(X^{(l)}=x^{(l)}|Y=c_k)}{\sum_{i=1}^nP(Y=c_k)\prod_{l=1}^nP(X^{(l)}=x^{(l)}|Y=c_k)} P(Y=ck​∣X=x)=∑i=1k​P(X=x∣Y=ci​)P(Y=ci​)P(X=x∣Y=ck​)P(Y=ck​)​=∑i=1n​P(Y=ck​)∏l=1n​P(X(l)=x(l)∣Y=ck​)P(Y=ck​)∏l=1n​P(X(l)=x(l)∣Y=ck​)​ 上面的公式是后验概率分布中的一项,对于相同输入 x x x下不同类别的后验概率的分母相同,所以我们可以简化为只比较分子的大小就可以确定最终的结果,最终类输出为概率最大对应的类别: y = a r g m a x c k P ( Y = c k ) ∏ l = 1 n P ( X ( l ) = x ( l ) ∣ Y = c k ) y=argmax_{c_k}P(Y=c_k)\displaystyle\prod_{l=1}^nP(X^{(l)}=x^{(l)}|Y=c_k) y=argmaxck​​P(Y=ck​)l=1∏n​P(X(l)=x(l)∣Y=ck​) 可以通过右式取对数的方式，将连乘化为求和，简化运算得： y = a r g m a x c k log ⁡ P ( Y = c k ) + ∑ l = 1 n log ⁡ P ( X ( l ) = x ( l ) ∣ Y = c k ) y=argmax_{c_k}\log P(Y=c_k)+\displaystyle\sum_{l=1}^n\log P(X^{(l)}=x^{(l)}|Y=c_k) y=argmaxck​​logP(Y=ck​)+l=1∑n​logP(X(l)=x(l)∣Y=ck​) 这就是,朴素贝叶斯概率模型。

拉普拉斯平滑系数作用是解决零概率问题。就是在计算实例的概率时，如果某个量 x x x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0，不能因为一个事件没有观察到就武断的认为该事件的概率是0。

所以假定训练样本很大时，每个分量 x x x 的计数加 1 造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题。

P ( X i │ Y ) = （ N i + α ) / ( N + α m ) P(X_i│Y)=（N_i+α)/(N+αm) P(Xi​│Y)=（Ni​+α)/(N+αm) α \alpha α 为指定的系数一般为 1， m m m 为训练集中统计的特征值个数。

导入使用模块

处理训练数据集

计算编辑距离

拼写检查

运行

'like'

导入使用模块

加载数据集

['alt.atheism', 'comp.graphics', 'comp.os.ms-windows.misc', 'comp.sys.mac.hardware', 'comp.windows.x', 'misc.forsale', 'rec.autos', 'rec.motorcycles', 'rec.sport.baseball', 'rec.sport.hockey', 'sci.crypt', 'sci.electronics', 'sci.med', 'sci.space', 'soc.religion.christian', 'talk.politics.guns', 'talk.politics.mideast', 'talk.politics.misc', 'talk.religion.misc']

数据处理

(14134, 145231)

预测的文章类别为： [ 2 10 3 ... 15 17 8] 准确率为： 0.8571731748726655