KL散度、JS散度 的理解以及一些问题 |
您所在的位置:网站首页 › kl和l的区别百度百科 › KL散度、JS散度 的理解以及一些问题 |
散度
KL散度定义特性公式离散连续
机器学习
JS散度出现的原因公式特性问题
交叉熵(Cross Entropy)定义公式和KL散度的关系
KL散度
定义
KL(Kullback-Leibler divergence)散度用来描述两个概率分布P和Q的差异的一种方法,也叫做相对熵(relative entropy)。 特性1.KL具有非对称性,即D(P||Q) ≠ D(Q||P)。 2.非负性:因为对数函数是凸函数,所以 KL散度的值为非负数。 3.KL散度不满足三角不等式: KL(A,B) > KL(A,C)+KL(C,B) 公式 离散在机器学习领域,是用来度量两个函数的相似程度或者相近程度。 JS散度 出现的原因KL散度时不对称的,训练神经网络会因为不同的顺序造成不一样的训练结果,为了克服这个问题,提出了JS散度。 公式1.对称 2.非负 3.值域范围 JS散度的值域范围是[0,1],相同则是0,相反为1。相较于KL,对相似度的判别更确切了。 问题当两个概率分布不一样的时候,它们的值是不是会随着距离的变大而变大。两个概率分布完全不一样的时候,距离是log(2) 交叉熵(Cross Entropy) 定义交叉熵描述了两个概率分布之间的距离,当交叉熵越小说明二者之间越接近。 尽管交叉熵刻画的是两个概率分布之间的距离,但是神经网络的输出却不一定是一个概率分布。为此我们常常用Softmax回归将神经网络前向传播得到的结果变成概率分布。 公式在神经网络中,交叉熵可以作为损失函数,因为它可以衡量P和Q的相似性。 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |