通信中，信源编码本质上是将信源符号转变为适合信道传输的符号，目的为了减少或消除信源冗余度而提高传输效率及通信的有效性。

在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信道处理（信道编码/译码）方法，能够做到既可靠又有效地传输信息。而香农第一定理就是一个极为重要的极限定理：

香农第一定理给出了要做到无失真的信源编码，数据压缩的极限值——平均每个信源符号所需最少的 r r r元码元数为信源的熵 H r ( S ) H_r(S) Hr​(S).

即信源的信息熵 H r ( S ) H_r(S) Hr​(S)是无失真信源压缩的极限值。

若编码的平均码长小于信源的熵值 H r ( S ) H_r(S) Hr​(S)，则惟一可译码不存在，在译码或反变换时必然要带来失真或差错。

通过对扩展信源进行变长编码，当 N → ∞ N \to\infty N→∞ 时，平均码长 lim ⁡ N → ∞ L ‾ N N = H r ( S ) \lim \limits_{N \to\infty} \frac{\overline L_N }{N}= H_r(S) N→∞lim​NLN​​=Hr​(S)

物理意义： 无失真信源编码的实质是对离散信源进行变换——变换后信源符号(信道的输入信源)尽可能为等概率分布； 新信源符号平均所含的信息量达到最大，使信道的信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。

当信道的信息传输率不超过信道容量时( R < C RC R>C)，就不可能实现可靠的传输。

若某信道有 r r r个输入符号， s s s个输出符号，信道容量为 C C C，当信道的信息传输率 R < C R