2021/11/28 from Xwhite

信息传输率

信息传输率R：信道中平均每个符号所传输的信息量

平均互信息I(X;Y) 接收到符号Y后平均获得的关于X的信息量

两者在意义上完全等价，因此信道的信息传输率本质上就是平均互信息，即

R=I(X;Y)=H(X)-H(X|Y)

信息传输速率Rt 指的是信道每秒钟平均传输的信息量，即Rt=1/t*I(X;Y)，单位：bit/sec

定义

前面我们说过凸性定理

对于固定信道，即P(yi|xi)固定，平均互信息是输入信源概率的上凸函数。

因此，存在一个最佳输入分布，使平均互信息，也就是信息传输率最大，最大值由信道特性决定。

那么最大信息传输率我们定义为信道容量 信道容量的单位是bit/symbol，信息传输率达到信道容量时输入分布称为最佳输入分布。

信道在单位时间内平均传输的最大信息量Ct=1/t*C，单位：bit/sec

说明

无噪无损信道（无噪一一对应信道）

噪声会使一个输入对应多个输出（已知输入看输出）

损失会使一个输出对应对应多个输入（已知输出看输入）

输入输出一一对应

给定任意xi必然存在yj使得p(yj|xi)=p(xi|yj)=1

H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y) 此时信源的最佳输入分布为等概分布 有噪无损失信道

一个输入对应对各互不相交的输出

给定任意输出yj，必然存在输入xi，使得p(xi|yj)=1,反之不一定。

损失熵H(X|Y)=0，I(X;Y)=H(X) 此时信源的最佳输入分布为等概分布，r是输入符号的个数

无噪有损信道（确定信道）

离散输入对称信道（行对称信道）

信道矩阵每一行都是相同元素的排列

离散输出对称信道（列对称信道）

信道矩阵每一列都是相同元素的排列

对称信道

每行都是相同元素的排列

每列都是相同元素的排列

若行数小于列数，则列元素集合为行元素集合的子集

强对称信道（均匀信道）

准对称信道

重要引理

对于对称信道，当信道输入概率分布为等概分布时，输出概率分布必为等概分布。此引理对离散列对称信道也成立

对称信道的信道容量

当信道输入概率分布分等概分布时，输出也为等概分布，此时达到信道容量

例题

直接套公式行数为3，s=3

例题

求H(X|Y)这里较为复杂

当然我个人认为也可以利用熵的强可加性

因为我们有PY 所以H(Y)已知，H(Y|X)已知

平均互信息(X;Y)=H(X)-H(X|Y)=0.061bit/符号 也可以是H(Y)-H(Y|X)

第二问

准对称信道的信道容量

当信道输入概率分布为等概分布式，准对称信道达到信道容量

准对称信道和对称信道达到信道容量时对应的最佳输入分布均为等概分布

对于有r个符号的信源，其最佳输入分布为P(xi)=1/r

根据输入输出与信道矩阵的关系，PY=PXPY|X

信道容量为C=H(X)-H(X|Y)