当特征中数据是连续型时，通常有两种方法来估计条件概率。 第一种方法是把每一个连续的数据离散化，然后用相应的离散区间替换连续数值。这种方法对于划分离散区间的粒度要求较高，不能太细，也不能太粗。 第二种方法是假设连续数据服从某个概率分布，使用训练数据估计分布参数，通常我们用高斯分布来表示连续数据的类条件概率分布。 此处我们使用第二种方法：

公式为： 12πσ2−−−−√e(−12σ2(x−μ)2) 1 2 π σ 2 e ( − 1 2 σ 2 ( x − μ ) 2 ) μ为均值， σ2 σ 2 为方差，σ为标准差 给定来自训练数据中已知特征的均值和标准差后，可以使用高斯函数来评估一个给定的特征值的概率。即用高斯概率密度函数来表示条件概率 P(x(j)|ck) P ( x ( j ) | c k )

获取类标签，并获取每个类中各个特征的均值和方差

n个样本的样本集为 xi∈{x1,x2,...,xn} x i ∈ { x 1 , x 2 , . . . , x n } ，第i个样本 xi x i 有m个特征 x(j)i∈{x(1)i,x(2)i,...,x(m)i} x i ( j ) ∈ { x i ( 1 ) , x i ( 2 ) , . . . , x i ( m ) } 对于一个样本属于某类的概率，我们用这个样本所有特征概率之乘积来表示，即 ∏j=1mP(x(j)|ck) ∏ j = 1 m P ( x ( j ) | c k )

对于单个样本返回预测结果，即比较所有类别下，这个样本的概率，找到最大的概率值，返回其类别和概率值。 传入测试样本、均值、方差和标签集合。

同理推广到整个数据集(测试集)上，通过比对预测结果和真实标签，计算出准确率 acc=预测正确数数据集总数 a c c = 预 测 正 确 数 数 据 集 总 数

lamda为贝叶斯平滑因子，默认取1(即拉普拉斯平滑)

先验概率： Pλ(Y=ck)=∑i=1NI(yi=ck)+λN+Kλ P λ ( Y = c k ) = ∑ i = 1 N I ( y i = c k ) + λ N + K λ ∑i=1NI(yi=ck) ∑ i = 1 N I ( y i = c k ) ，用ck_counts表示

条件概率： Pλ(X(j)=ajl|Y=ck)=∑i=1NI(x(j)i=ajl,yi=ck)+λ∑i=1NI(yi=ck)+mλ P λ ( X ( j ) = a j l | Y = c k ) = ∑ i = 1 N I ( x i ( j ) = a j l , y i = c k ) + λ ∑ i = 1 N I ( y i = c k ) + m λ 我们将计算得到的每个类的每个特征取值的条件概率存起来

用的是pima印第安人糖尿病数据集来测试

用的是汽车性价比CarEvalution数据集来测试

代码 参考 原理