霍夫曼编码对每个信源符号产生可能最小数量的编码符号。第一步是通过对所考虑的符号的概率进行排序，并将具有最小概率的符号合并为一个符号代替下次信源化简过程的符号，从而创建一个简化信源系列，过程如下图所示，重复合并直到信源只有两个符号的简化信源为止：

第二步是对每个化简后的信源进行编码，从最小的信源开始，直到遍历原始信源。对两个符号信源的最小长度的二值码是0和1，这些符号被分配给最右边的两个符号（并不规定顺序，谁0谁1无所谓），整个过程如下图所示：

这样编码的平均长度为：比特/像素。之后也可以通过从左到右的顺序对串中每个符号进行分析来解码，对于一个编码串010100111100进行从左到右扫描，对应上表中的编码，可以发现，第一个有效码字为01010，对应，下一个是011对应，最终完全解码的消息为。

当对大量符号进行编码时，最佳霍夫曼编码的构造也比较复杂。对于有个信源符号的通常情况，需要个符号概率，次信源简化和次编码赋值，当事先信源符号的概率可以估计时，使用预计算的霍夫曼编码可以达到接近最佳的编码，一些通用的图像压缩标准比如JPEG和MPEG，都规定了默认的霍夫曼编码表。同样适用霍夫曼编码的压缩标准还有CCITT、JBIG2、H.261、H.262、H.263、H.264等。

哥伦布编码时具有指数衰减概率分布输入的非负整数编码。给定一个非负整数和一个正整数除数m，表示为的n关于m的Golomb编码时商的一元编码和的二进制表示的一个合并，构建如下：

例如，的一元编码110，令,，。所以最后的结果就是110和01的连接即，可以看到这种编码计算上要比最佳霍夫曼简单很多。

当时，产生的编码又称为Golomb-Rice编码或Rice码。当被表示的整数具有概率质量函数的集合分布时:，可以证明Golobm码是最佳的，即当时，为所有唯一可判度的编码提供了最短的平均码长。

算术编码也是一种熵编码但生成的是非块码，假设有一个来自四符号信源的五符号序列，其中信源的概率分别为0.1、0.2、0.3和0.4，则按照信号的概率可以将区间划分为、四部分。然后读入信号，第一个符号，占据区间，这样编码间隔变为；然后读入第二个符号，占原始区间的前10%，则编码间隔进一步变化，变为；然后读入，占原始区间的10%—30%，则编码间隔进一步变化，变为；然后读入，占原始区间的30%—60%，编码间隔变为；最后读入，占原始区间的60%—100%，编码间隔变为，然后从这个区间上任选一个数作为编码输出，比如取0.306。

解码的时候同样需要知道信源的概率0.1、0.2、0.3和0.4，编码输出为0.306，原始符号序列长度为5。开始解码：0.306在区间，所以第一个符号为；而0.306在的前10%，所以第二个符号为；而0.306在的10%—30%上，所以第三个编码为；而0.306在区间的30%—60%，所以第四个符号为a_3；而0.306在区间的%60—100%，所以最后一个符号为。

欢迎扫描二维码关注微信公众号 深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]