数据率失真理论（Rate distortion theory）或称信息率-失真理论（information rate-distortion theory）是信息论的主要分支，其的基本问题可以归结如下：对于一个给定的信源（source, input signal）分布与失真度量，在特定的码率下能达到的最小期望失真是多少；或者为了满足一定的失真限制，可允许的最大码率为何， D D D 定义为失真的符号。

要完全避免失真几乎不可能。处理信号时必须允许有限度的失真﹐可减小所必需的信息率。1959年﹐Claude Shannon 首先发表《逼真度准则下的离散信源编码定理》一文，提出了率失真函数的概念。

我们通常都通过一个失真度量（distortion measure）来衡量一个随机变量以及它的表示（representation）之间的距离。下面以一个例子为开始，介绍具体的率失真理论中的一些定义与定理。

假设一个随机变量 X X X，其一个表示定义为 X ^ ( X ) \hat{X}(X) X^(X)，若我们使用 R R R个比特（bit）来表示 X X X，每个比特的数值为 0 0 0或 1 1 1，那么函数 X ^ \hat{X} X^可以有 2 R 2^R 2R中不同取值，那么我们现在的问题是找到一个 X ^ \hat{X} X^的最优值集（称为再生点（reproduction points）或码点（code points）），而目的是通过最小化定义的一个失真度量得到。

现在我们假设 X ∼ N ( 0 , σ 2 ) X \sim \mathcal{N}\left(0, \sigma^{2}\right) X∼N(0,σ2)，同时假设一个平方误差的失真度量。目的则要通过最小化 E ( X − X ^ ( X ) ) 2 E(X-\hat{X}(X))^{2} E(X−X^(X))2从 2 R 2^R 2R个不同值中找到最优的 X ^ \hat{X} X^。举一个简单的例子，假设我们现在只能用一个比特来表示，那么 X ^ \hat{X} X^可以有两个不同的取值。由于分布是关于 0 0 0对称的，因此我们将是否 X > 0 X>0 X>0作为两种不同取值的划分标准。为使平方误差达到最小，函数 X ^ \hat{X} X^应该取其所在区域上 X X X的条件均值。将正态分布截断的分布称为半正态分布（Half-normal distribution），其期望为： 2 / π σ {\sqrt {2/\pi}} \sigma 2/π ​σ，因此有： X ^ ( x ) = { 2 π σ  if  x ≥ 0 , − 2 π σ  if  x < 0. \hat{X}(x)= \begin{cases}\sqrt{\frac{2}{\pi}} \sigma & \text { if } x \geq 0, \\ -\sqrt{\frac{2}{\pi}} \sigma & \text { if } x\min \{p, 1-p \mid\end{cases} R(D)={H(p)−H(D),0,​0⩽D⩽min{p,1−p}D>min{p,1−p∣​

一个 N ( 0 , σ 2 ) \mathcal{N}\left(0, \sigma^{2}\right) N(0,σ2)高斯信源在平方误差失真度量下的率失真函数为： R ( D ) = { 1 2 log ⁡ σ 2 D , 0 ⩽ D ⩽ σ 2 0 , D > σ 2 R(D)= \begin{cases}\frac{1}{2} \log \frac{\sigma^{2}}{D}, & 0 \leqslant D \leqslant \sigma^{2} \\ 0, & D>\sigma^{2}\end{cases} R(D)={21​logDσ2​,0,​0⩽D⩽σ2D>σ2​

针对高斯信源，我们先将 R ( D ) R(D) R(D)写成 D ( R ) D(R) D(R)， 则 R ( D ) = 1 2 log ⁡ σ 2 D R(D)= \frac{1}{2} \log \frac{\sigma^{2}}{D} R(D)=21​logDσ2​可变为 D ( R ) = σ 2 2 − 2 R D(R)=\sigma^{2}2^{-2R} D(R)=σ22−2R。（注意，这里的 log ⁡ \log log均是以 2 2 2为底的）。那么 1 1 1比特的失真为 0.25 σ 2 0.25\sigma^2 0.25σ2

这是有一个非常有趣的观察：在最开始的第一个例子，我们用 1 1 1比特量化 N ( 0 , σ 2 ) \mathcal{N}\left(0, \sigma^{2}\right) N(0,σ2)高斯分布的连续随机变量时，平均失真为 D = ∫ − ∞ ∞ ( x − X ^ ( x ) ) 2 p ( x ) d x = π − 2 π σ 2 ≈ 0.3633 σ 2 D=\int_{-\infty}^{\infty}\left( x - \hat{X}(x) \right)^2 p(x) dx = \frac{\pi-2}{\pi} \sigma^{2} \approx 0.3633 \sigma^{2} D=∫−∞∞​(x−X^(x))2p(x)dx=ππ−2​σ2≈0.3633σ2，这并不是最优的。因此，这表明我们如果将几个失真的问题结合在一起考虑，则可获得比单个分开考虑时更低的失真。（即使我们量化的是独立随机变量）