1. 熵(entropy)是什么？

按照香农的理论，在有限的互斥和联合穷举事件的集合中，熵为事件的信息量的平均值，也称事件的平均信息量。

2. 熵编码(entropy encoding)是什么？

如果要求在编码过程中不丢失信息，即要求保存信息熵，这种信息保持编码又叫做熵保存编码，或者叫做熵编码。

3. 假设是由3个事件组成的集合，计算该集合的决策量。

决策量H0 = log2(3) = 1.58 bit。

4. 现有一段用8位二进制量化的音频片段，假设每级出现的概率均为p(xi)=1/256，计算这段音频数据的熵。

H = -∑p(i)*log2p(i) = -256*(1/256)*log2(1/256) = log2(1/256) = 8

5. 现有8 个待编码的符号m0,…m7，它们的概率如所示，计算这些符号的霍夫曼码。(答案不唯一。)

6. 现有5个待编码的符号，概率如图所示，计算该符号集的：（1）熵（2）霍夫曼编码（3）平均码长（4）编码前后的压缩比 （5）编码效率

7. 使用算术编码生成字符串games的代码。字符g, a, m, e, s的概率如下。