减少表示给定信息量所需数据量的处理。

包含不相关或重复信息的数据。 C叫做压缩率 比如C=5，表示冗余信息：有用信息为5：1，压缩率为5，数据冗余为0.8，表示有80%是冗余的。

Lavg = 0.25x2+0.47x1+0.25x3+0.03x3 = 1.81 其中l2®是通过哈夫曼树求得的

二位灰度阵列的像素是空间相关的（类似于或取决于相邻像素），信息没有必要重复；在视频序列中，时间相关的像素（类似于或取决于相邻帧中的像素）也是重复信息。

人类视觉系统忽略的信息或与图像预期应用无关的信息都可以去除，这些信息的去除叫做量化，这是不可逆的过程。

1）信息量的大小与信息发生的概率成反比。概率越大，信息量越小。概率越小，信息量越大。 设某一事件发生的概率为P(x)，其信息量表示为： 2）信息熵 也被称为熵，用来表示所有信息量的期望。 期望是试验中每次可能结果的概率乘以其结果的总和。

3）交叉熵（CrossEntropy）：q（xi）表示预测的概率 4）相对熵（KL散度）： 如果对于同一个随机变量XX有两个单独的概率分布P(x)和Q(x)，则我们可以使用KL散度来衡量这两个概率分布之间的差异。 KL散度越小，说明P(x)与Q(x)Q(x)的分布更加接近。 KL散度 = 交叉熵 - 信息熵

输入数据与标签常常已经确定，那么真实概率分布P(x)也就确定下来了，所以信息熵在这里就是一个常量。由于KL散度的值表示真实概率分布P(x)与预测概率分布Q(x)之间的差异，值越小表示预测的结果越好，所以需要最小化KL散度，而交叉熵等于KL散度加上一个常量（信息熵），且公式相比KL散度更加容易计算，所以在机器学习中常常使用交叉熵损失函数来计算loss就行了。

评估保真度的两类准则是：（1）客观保真度准则（2）主观保真度准则。 用均方差来表示客观保真度准则。（MSE）

图像压缩系统是由两个不同的功能部分组成的：一个是编码器一个是解码器。编码器执行压缩操作，解码器执行解压缩操作。

信源编码器的任务是减少或消除输入图像中的编码冗余、像素间冗余或心理视觉冗余。特定的应用和与之相连的保真度准则要求规定了在给定情况下使用的最佳编码方法。

信源解码器包含一个符号解码器和一个反向转换器。这些模块的运行次序和编码器的符号编码器和转换模块的操作次序相反。因为量化过程导致了不可逆的信息损失，反向量化器模块不包含在通常的信源解码器模型中。 若生成的f’(x,y)是f(x,y)的精品副本，则称为无损压缩，反之称为有损压缩。

见数据结构哈夫曼树

算术编码是一种非块码，信源符号和码字之间是不存在一一对应的关系的。

算术编码是给整个信源符号序列分配一个单一的算术码字。这个码字本身定义了一个介于0到1之间的实数。因为这种技术不像霍夫曼编码方法那样要求将每个信源符号转换成整数的编码，所以这种技术达到了由无噪声编码准则所设定的界限。

算术编码用到两个基本的参数：符号概率和它的编码间隔。信源符号的概率决定了压缩编码的效率，也决定了编码过程中信源符号的间隔，而这些间隔包含在0到1之间。编码过程中间隔决定了符号压缩后的输出。

算术编码器的编码过程可用下面的例子加以解释： 假设信源可能发出的符号为{A,B,C,D}，这些符号的概率为{0.1,0.4,0.2,0.3}，求符号序列“C,A,D,A,C”的算术编码。 在编码处理的开始，消息占据整个半开区间[0,1)。编码序列中第一个符号C，编码间隔被限制在[0.5,0.7）间，区间[0.5,0.7）被扩展到图形的全高度，并在区间[0.5,0.7）中根据信源符号出现的概率进行细分，而后接着处理下一个消息符号。用这种方式，符号A将子区间变窄为[0.5,0.52)，符号D又将子区间变窄为[0.514,0.52)。最后子区间变窄为[0.5143,0.51442),在这个区间中的任何数字都可以被用来表示这个消息。 上下文：基于被编码符号周围的预定义的领域像素

将定长码字分配给变长信源符号序列，不需要被编码符号出现的概率的先验。

沿行或列重复灰度的图像，通常可以用相同灰度的形成表示为行程对来压缩，其中每个行程对指定一个灰度的开始具有该灰度的连续像素的数量。 当相同像素的行程较小或没有时，行程编码会导致数据扩展

压缩二值图像，特别有效，因为不是黑就是白，所以邻近像素更可能相同。

图像被表示为多幅频繁发生的子图像的一个集合叫做符号。 三元组第一个，第二个位置表示符号左上角的坐标，第二个位置是符号的标记。

把一副多级（单色或彩色）图像分解为一系列二值图像，再用二值压缩方法来压缩每幅二值图像。

把图像分成大小相等且不重叠的小块，用二维变换单独处理这些块；用一种可逆线性变换把每个块或子图像映射为变换系数集合，然后对这些变换系数进行量化和编码。对大多数自然图像，大量系数的量级很小，可以进行不是很精确的量化（或完全丢失），几乎不会产生多少图像失真。

在变换编码系统中，解码器的执行步骤（除了量化函数以外）与编码器相反。编码器执行四种相对简单的操作：子图分解、变换、量化和编码。一幅NN大小的输入图像首先被分解为nn的子图像，这些子图像进而被变换生成(N/n)^2个子图像变换阵列。变换处理的目的是将每幅子图像中的像素进行相关分解，或用最少了的变换系数包含尽可能多的信息。在量化阶段有选择地消除或更粗略的量化带有最少信息的系数。这些系数对重构子图像质量的影响很小。在给定的应用中选择特定的变换取决于可容忍的重构误差的大小和可用的计算资源。在变换系数的量化过程中实现了压缩。 大小为nxn的子图像g(x,y)，其离散变换T: r(x,y,u,v)和s(x,y,u,v)称为正变换核与反变换核。 图像压缩最常用的变换之一是离散余弦变换（DCT） JPEG压缩 压缩步骤如下：

1.图像首先被细分为8*8的像素块，这些像素块进行从左到右从上到下的处理。 2.对块中的每个像素减去2^(n-1)，对于256灰度级的图像即减去128. 3.计算块的二维离散余弦变换。 4.量化，对变换系数进行均匀量化。 5.使用z形编排，形成一个量化系数的一维序列。 非零的AC系数是使用规定了系数值和处在前面位置的零的个数的一种 6.变长编码进行编码的。DC系数相对于前面子图像的DC系数进行不同的编码。

通过消除紧邻像素在空间和时间上的冗余来实现的。它仅对每个像素中的新信息进行提取和编码。一个像素的新信息定义为该像素的实际值与预测值之间的差。

虽然JPEG标准是一个非常成功的标准，但在一些新的应用如高清图像、数字图书馆、高精确彩色图像、多媒体和因特网应用、无线、医学图像等方面，JPEG表现不足，因此弥补JPEG对连续色调静止图像的无损压缩和近无损压缩效率不高的缺陷，最终提出了JPEG2000标准。

该标准采用了先进的压缩技术并在可伸缩压缩图像及灵活性方面有许多先进的特征，其系统功能比JPEG标准优越，尤其是JPEG2000采用的是离散小波变换替代了JPEG中采用的离散余弦变换，并采用了最新的编码算法来支持灵活性，这样许多应用只需要单一码流提供。JPEG2000可广泛应用于通信、图像处理、信号处理和多媒体 等领域中。

JPEG2000与传统JPEG最大的不同在于它放弃了JPEG所采用的以离散余弦为主的区块编码方式，转而采用以小波变换为主的多解析编码方式。

余弦变换是经典的谱分析工具，它考察的是整个时域过程的频域特征或整个频域过程的时域特征，因此对于平稳过程，它有很好的效果，但对于非平稳过程，它却有诸多不足。图像的压缩率越高，频域信息被丢弃的越多。

小波变换是现代谱分析工具，它既能考察局部时域过程的频域特征，又能考察局部频域过程的时域特征，因此即使对于非平稳过程，处理起来也得心应手。它能将图像变换为一系列小波系数，这些系数可以被高效压缩和存储。此外，小波的粗略边缘可以更好的表现图像，因为它消除了DCT压缩普遍具有的方块效应。通过伸缩平移运算对信号逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节。

压缩的目的是减少用于表示图像的数据量，水印处理的目的是在图像上添加信息和数据。