条件熵：在随机变量X发生的前提下，随机变量Y发生所新带来的熵定义为Y的条件熵，用H(Y|X)表示，用来衡量在已知随机变量X的条件下随机变量Y的不确定性。     且有此式子成立：H(Y|X) = H(X,Y) – H(X)，整个式子表示(X,Y)发生所包含的熵减去X单独发生包含的熵。至于怎么得来的请看推导：

---------------------------------------------------------------

相对熵可以用来衡量两个概率分布之间的差异 相对熵(Relative entropy)，也称KL散度 (Kullback–Leibler divergence) 设p(x)、q(x)是离散随机变量X中取值的两个概率分布，则p对q的相对熵是： 性质： 1、如果p(x)和q(x)两个分布相同，那么相对熵等于0 2、DKL(p||q)≠DKL(q||p)，相对熵具有不对称性。大家可以举个简单例子算一下。 3、DKL(p||q)≥0证明如下（利用Jensen不等式https://en.wikipedia.org/wiki/Jensen%27s_inequality）：

 因为：

∑xp(x)=1

所以：

DKL(p||q)≥0

总结：相对熵可以用来衡量两个概率分布之间的差异，上面公式的意义就是求p与q之间的对数差在p上的期望值。

----------------------------------------------------------------------------------------------

----------------------------------------------------------------------------------------------

交叉熵和相对熵之间的关系

----------------------------------------------------------------------------------------------

互信息：两个随机变量X，Y的互信息定义为X，Y的联合分布和各自独立分布乘积的相对熵，用I(X,Y)表示：

    且有I(X,Y)=D(P(X,Y) || P(X)P(Y))。下面，咱们来计算下H(Y)-I(X,Y)的结果，如下：

    通过上面的计算过程，我们发现竟然有H(Y)-I(X,Y) = H(Y|X)。故通过条件熵的定义，有：H(Y|X) = H(X,Y) - H(X)，而根据互信息定义展开得到H(Y|X) = H(Y) - I(X,Y)，把前者跟后者结合起来，便有I(X,Y)= H(X) + H(Y) - H(X,Y)，此结论被多数文献作为互信息的定义。更多请查看《最大熵模型中的数学推导》（链接：http://blog.csdn.net/v_july_v/article/details/40508465）

或者：

转自：

http://blog.csdn.net/u013713117/article/details/55099060

https://blog.csdn.net/diligent_321/article/details/53115369

https://www.cnblogs.com/kyrieng/p/8694705.html#name3