香农三大定理、香农公式 |
您所在的位置:网站首页 › roth第一定理 › 香农三大定理、香农公式 |
文章目录
信源编码香农第一定理(无失真变长信源编码定理)香农第二定理(有噪信道编码定理)香农第三定理(保真度准则下的信源编码定理)
香农作为信息论的创始人,为如今的信息时代(4G、5G等通信领域)奠定了重大基础。
信源编码
通信中,信源编码本质上是将信源符号转变为适合信道传输的符号,目的为了减少或消除信源冗余度而提高传输效率及通信的有效性。 在信息论的编码定理中,已从理论上证明,至少存在某种最佳的编码或信道处理(信道编码/译码)方法,能够做到既可靠又有效地传输信息。而香农第一定理就是一个极为重要的极限定理: 香农第一定理(无失真变长信源编码定理)香农第一定理给出了要做到无失真的信源编码,数据压缩的极限值——平均每个信源符号所需最少的 r r r元码元数为信源的熵 H r ( S ) H_r(S) Hr(S). 即信源的信息熵 H r ( S ) H_r(S) Hr(S)是无失真信源压缩的极限值。 若编码的平均码长小于信源的熵值 H r ( S ) H_r(S) Hr(S),则惟一可译码不存在,在译码或反变换时必然要带来失真或差错。 通过对扩展信源进行变长编码,当 N → ∞ N \to\infty N→∞ 时,平均码长 lim N → ∞ L ‾ N N = H r ( S ) \lim \limits_{N \to\infty} \frac{\overline L_N }{N}= H_r(S) N→∞limNLN=Hr(S) 物理意义: 无失真信源编码的实质是对离散信源进行变换——变换后信源符号(信道的输入信源)尽可能为等概率分布; 新信源符号平均所含的信息量达到最大,使信道的信息传输率R达到信道容量C,实现信源与信道理想的统计匹配。 香农第二定理(有噪信道编码定理)当信道的信息传输率不超过信道容量时( R < C RC R>C),就不可能实现可靠的传输。 若某信道有 r r r个输入符号, s s s个输出符号,信道容量为 C C C,当信道的信息传输率 R < C R |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |