第1章 单符号离散信源1．1 信源的信息熵1．1．1 信源的数学模型1．1．2 信源符号的自信量1．1．3 信源的信息熵1．2 信息熵的代数性质1．2．1 对称性1．2．2 非负性和确定性1．2．3 连续性和扩展性1．2．4 可加性1．2．5 递推性1．3 信息熵的解析性质1．3．1 极值性1．3．2 上凸性1．3．3 信息熵的最大值（I）1．3．4 信息熵的最大值（Ⅱ）1．4 熵函数的唯一性1．5 效用信息熵1．5．1 加权熵的定义1．5．2 权熵的数学特性1．5．3 权熵的唯一性1．5．4 效用信息熵的定义1．5．5 效用信息熵的数学特性习题

第2章 单符号离散信道2．1 平均互信息2．1．1 信道的数学模型2．1．2 信道两端符号的概率变化2．1．3 两个符号之间的互信息2．1．4 两个随机变量之间的平均互信息2．1．5 信息距离2．1．6 交互系数2．2 平均互信息的数学特性2．2．1 交互性2．2．2 非负性2．2．3 极值性2．2．4 下凸性2．2．5 上凸性2．3 信道容量和匹配信源2．3．1 信道容量的定义2．3．2 信道容量的一般算法2．3．3 匹配信源的等量平衡特性2．4 几种特殊信道的信道容量2．4．1 无噪信道的信道容量2．4．2 对称信道的信道容量2．4．3 强对称信道的信道容量2．4．4 准对称信道的信道容量2．4．5 可逆矩阵信道的信道容量2．5 信道容量的迭代计算2．5．1 信道容量的迭代算法2．5．2 迭代算法的收敛性2．6 平均条件互信息2．6．1 串接信道的数学描述2．6．2 条件互信息2．6．3 平均条件互信息2．6．4 中心信息差2．6．5 随机变量序列的平均条件互信息2．7 平均联合互信息2．7．1 联合互信息的表达式2．7．2 联合互信息的对称性2．7．3 平均联合互信息2．7．4 信源的信息测量2．8 数据处理2．8．1 两个信道串接的平均互信息不增性2．8．2 N个信道串接平均互信息的不增性2．8．3 信道两端平均互信息的不增性习题

第3章 多符号离散信源与信道3．1 离散平稳信源的数学模型3．1．1 多符号离散信源的一般概念3．1．2 离散平稳信源的定义3．1．3 离散平稳信源的数学模型3．2 扩展信源的信息熵3．2．1 无记忆扩展信源的信息熵3．2．2 有记忆扩展信源的信息熵3．2．3 扩展信源信息熵的比较3．3 平均符号熵和极限熵3．3．1 平均符号熵3．3．2 极限熵3．4 马尔可夫（Markov）信源的极限熵3．4．1 M信源的定义3．4．2 m-M信源消息转移特性3．4．3 各态历经m-M信源消息极限概率分布3．4．4 各态历经m-M信源的数学模型3．4．5 各态历经m-M信源的极限熵3．4．6 有记忆信源的剩余度3．5 扩展信道的平均互信息3．5．1 扩展信道的由来3．5．2 扩展信道的数学模型3．5．3 扩展信道平均互信息的数学特性3．6 无记忆扩展信道的独立并列特性3．6．1 无记忆性3．6．2 无预感性3．6．3 独立并列与信道无记忆3．7 独立并列信道的信道容量3．7．1 并列信道的数学模型3．7．2 并列信道的概率变化关系3．7．3 独立并列信道平均互信息的极值性3．7．4 信道容量的计算习题

第4章 单维连续信源与信道4．1 连续信源的相对熵4．1．1 相对熵的由来及其内涵4．1．2 几种连续信源的相对熵4．1．3 相对熵的数学特性4．1．4 相对熵的最大值4．1．5 熵功率与信息变差4．1．6 相对熵的变换4．2 连续信道的平均互信息4．2．1 连续信道的数学描述4．2．2 “信息熵差”与“相对熵差4．2．3 平均互信息的三种表达式4．2．4 平均互信息的不增性4．2．5 平均互信息的不变性4．2．6 连续信道的测量信息4．3 连续信道的信道容量4．3．1 信道容量的定义4．3．2 加性信道的信道容量4．3．3 高斯加性信道的信道容量习题

第5章 多维连续信源与信道5．1 随机过程的离散化5．1．1 傅里叶（Fourier）分析的基本概念5．1．2 随机过程在时间域上的离散化5．1．3 随机过程在频率域上的离散化5．1．4 时域和频域随机变量序列的转换5．2 多维连续信源的相对熵5．2．1 均匀分布N维连续信源的要对熵5．2．2 高斯分布N维连续信源的相对熵5．3 多维连续信源的最大相对熵5．3．1 取值区域受限的N维连续信源的最大相对熵5．3．2 协方差矩阵受限的N维连续信源的最大相对熵5．4 多维相对熵的变换5．5 无记忆扩展连续信道的平均互信息5．5．1 N次扩展连续信道的统计特性5．5．2 无记忆N次扩展连续信道的传递特性5．5．3 无记忆N次扩展信道平均互信息的极值性5．6 高斯白噪声的统计特性5．7 高斯白噪声加性信道的传递特性5．8 高斯白噪声加性信道的信道容量5．9 独立并列高斯加性信道容量的最大化习题

第6章 无失真信源编码定理6．1 单义可译结构定理6．1．1 单义可译码6．1．2 非延长码及其构成6．1．3 单义可译定理6．2 平均码长界限定理6．2．1 平均码长与码率6．2．2 平均码长界限定理6．2．3 最佳码6．3 符号传输速率极限定理6．3．1 平均码长极限定理6．3．2 符号传输速率极限定理习题

第7章 抗干扰信道编码定理7．1 译码规则和误码率7．1．1 译码规则7．1．2 误码率7．2 最小误码率译码准则7．2．1 最大后验概率译码准则7．2．2 最大似然译码准则7．3 汉明（Hamming）距离7．3．1 汉明距离的数学特性7．3．2 汉明距离与检纠能力7．3．3 汉明距离与最小误码率7．4 抗干扰信道编码定理7．4．1 费诺（Fano）不等式7．4．2 可靠性与有效性之间的制约关系7．4．3 误码率极限定理习题

第8章 限失真信源编码定理8．1 R（D）函数的定义8．1．1 平均互信息量的下凸性8．1．2 平均失真度8．1．3 信息率一失真函数R（D）的定义8．1．4 R（D）函数的定义域8．2 R（D）函数的数学特性8．2．1 R（D）的下凸性8．2．2 R（D）的单调递减性8．2．3 R（D）的连续性8．3 离散信源的R（D）8．3．1 二元离散信源的R（D）8．3．2 r元等概率散信源的R（D）8．3．3 离散信源R（D）函数的参量表述8．3．4 二元离散信源R（D）函数的参量计算8．4 连续信源的R（D）8．4．1 高斯连续信源的R（D）8．4．2 连续信源R（D）的参量表述8．4．3 高斯连续信源R（D）的参量计算8．5 R（D）的迭代计算8．6 R（D）与信息价值8．7 广义信息率一失真函数8．7．1 定义平均互信息8．7．2 广义信息率一失真函数8．8 K次扩展信源的信息率一失真函数Rk（D）8．8．1 扩展信源的平均失真度DK8．8．2 RK（D）的定义及其数学特性8．9 限失真信源编码定理8．9．1 数据压缩的一般概念8．9．2 限失真信源编码极限定理习题

第9章 信源一信道编码定理9．1 信息传输速率的上界9．2 信源一信道编码极限定理习题附录 供熵函数计算用的几种函数表参考文献

第1章 单符号离散信源1．1 信源的信息熵1．1．1 信源的数学模型1．1．2 信源符号的自信量1．1．3 信源的信息熵1．2 信息熵的代数性质1．2．1 对称性1．2．2 非负性和确定性1．2．3 连续性和扩展性1．2．4 可加性1．2．5 递推性1．3 信息熵的解析性质1．3．1 极值性1．3．2 上凸性1．3．3 信息熵的最大值（I）1．3．4 信息熵的最大值（Ⅱ）1．4 熵函数的唯一性1．5 效用信息熵1．5．1 加权熵的定义1．5．2 权熵的数学特性1．5．3 权熵的唯一性1．5．4 效用信息熵的定义1．5．5 效用信息熵的数学特性习题

第2章 单符号离散信道2．1 平均互信息2．1．1 信道的数学模型2．1．2 信道两端符号的概率变化2．1．3 两个符号之间的互信息2．1．4 两个随机变量之间的平均互信息2．1．5 信息距离2．1．6 交互系数2．2 平均互信息的数学特性2．2．1 交互性2．2．2 非负性2．2．3 极值性2．2．4 下凸性2．2．5 上凸性2．3 信道容量和匹配信源2．3．1 信道容量的定义2．3．2 信道容量的一般算法2．3．3 匹配信源的等量平衡特性2．4 几种特殊信道的信道容量2．4．1 无噪信道的信道容量2．4．2 对称信道的信道容量2．4．3 强对称信道的信道容量2．4．4 准对称信道的信道容量2．4．5 可逆矩阵信道的信道容量2．5 信道容量的迭代计算2．5．1 信道容量的迭代算法2．5．2 迭代算法的收敛性2．6 平均条件互信息2．6．1 串接信道的数学描述2．6．2 条件互信息2．6．3 平均条件互信息2．6．4 中心信息差2．6．5 随机变量序列的平均条件互信息2．7 平均联合互信息2．7．1 联合互信息的表达式2．7．2 联合互信息的对称性2．7．3 平均联合互信息2．7．4 信源的信息测量2．8 数据处理2．8．1 两个信道串接的平均互信息不增性2．8．2 N个信道串接平均互信息的不增性2．8．3 信道两端平均互信息的不增性习题

第3章 多符号离散信源与信道3．1 离散平稳信源的数学模型3．1．1 多符号离散信源的一般概念3．1．2 离散平稳信源的定义3．1．3 离散平稳信源的数学模型3．2 扩展信源的信息熵3．2．1 无记忆扩展信源的信息熵3．2．2 有记忆扩展信源的信息熵3．2．3 扩展信源信息熵的比较3．3 平均符号熵和极限熵3．3．1 平均符号熵3．3．2 极限熵3．4 马尔可夫（Markov）信源的极限熵3．4．1 M信源的定义3．4．2 m-M信源消息转移特性3．4．3 各态历经m-M信源消息极限概率分布3．4．4 各态历经m-M信源的数学模型3．4．5 各态历经m-M信源的极限熵3．4．6 有记忆信源的剩余度3．5 扩展信道的平均互信息3．5．1 扩展信道的由来3．5．2 扩展信道的数学模型3．5．3 扩展信道平均互信息的数学特性3．6 无记忆扩展信道的独立并列特性3．6．1 无记忆性3．6．2 无预感性3．6．3 独立并列与信道无记忆3．7 独立并列信道的信道容量3．7．1 并列信道的数学模型3．7．2 并列信道的概率变化关系3．7．3 独立并列信道平均互信息的极值性3．7．4 信道容量的计算习题

第4章 单维连续信源与信道4．1 连续信源的相对熵4．1．1 相对熵的由来及其内涵4．1．2 几种连续信源的相对熵4．1．3 相对熵的数学特性4．1．4 相对熵的最大值4．1．5 熵功率与信息变差4．1．6 相对熵的变换4．2 连续信道的平均互信息4．2．1 连续信道的数学描述4．2．2 “信息熵差”与“相对熵差4．2．3 平均互信息的三种表达式4．2．4 平均互信息的不增性4．2．5 平均互信息的不变性4．2．6 连续信道的测量信息4．3 连续信道的信道容量4．3．1 信道容量的定义4．3．2 加性信道的信道容量4．3．3 高斯加性信道的信道容量习题

第5章 多维连续信源与信道5．1 随机过程的离散化5．1．1 傅里叶（Fourier）分析的基本概念5．1．2 随机过程在时间域上的离散化5．1．3 随机过程在频率域上的离散化5．1．4 时域和频域随机变量序列的转换5．2 多维连续信源的相对熵5．2．1 均匀分布N维连续信源的要对熵5．2．2 高斯分布N维连续信源的相对熵5．3 多维连续信源的最大相对熵5．3．1 取值区域受限的N维连续信源的最大相对熵5．3．2 协方差矩阵受限的N维连续信源的最大相对熵5．4 多维相对熵的变换5．5 无记忆扩展连续信道的平均互信息5．5．1 N次扩展连续信道的统计特性5．5．2 无记忆N次扩展连续信道的传递特性5．5．3 无记忆N次扩展信道平均互信息的极值性5．6 高斯白噪声的统计特性5．7 高斯白噪声加性信道的传递特性5．8 高斯白噪声加性信道的信道容量5．9 独立并列高斯加性信道容量的最大化习题

第6章 无失真信源编码定理6．1 单义可译结构定理6．1．1 单义可译码6．1．2 非延长码及其构成6．1．3 单义可译定理6．2 平均码长界限定理6．2．1 平均码长与码率6．2．2 平均码长界限定理6．2．3 最佳码6．3 符号传输速率极限定理6．3．1 平均码长极限定理6．3．2 符号传输速率极限定理习题

第7章 抗干扰信道编码定理7．1 译码规则和误码率7．1．1 译码规则7．1．2 误码率7．2 最小误码率译码准则7．2．1 最大后验概率译码准则7．2．2 最大似然译码准则7．3 汉明（Hamming）距离7．3．1 汉明距离的数学特性7．3．2 汉明距离与检纠能力7．3．3 汉明距离与最小误码率7．4 抗干扰信道编码定理7．4．1 费诺（Fano）不等式7．4．2 可靠性与有效性之间的制约关系7．4．3 误码率极限定理习题

第8章 限失真信源编码定理8．1 R（D）函数的定义8．1．1 平均互信息量的下凸性8．1．2 平均失真度8．1．3 信息率一失真函数R（D）的定义8．1．4 R（D）函数的定义域8．2 R（D）函数的数学特性8．2．1 R（D）的下凸性8．2．2 R（D）的单调递减性8．2．3 R（D）的连续性8．3 离散信源的R（D）8．3．1 二元离散信源的R（D）8．3．2 r元等概率散信源的R（D）8．3．3 离散信源R（D）函数的参量表述8．3．4 二元离散信源R（D）函数的参量计算8．4 连续信源的R（D）8．4．1 高斯连续信源的R（D）8．4．2 连续信源R（D）的参量表述8．4．3 高斯连续信源R（D）的参量计算8．5 R（D）的迭代计算8．6 R（D）与信息价值8．7 广义信息率一失真函数8．7．1 定义平均互信息8．7．2 广义信息率一失真函数8．8 K次扩展信源的信息率一失真函数Rk（D）8．8．1 扩展信源的平均失真度DK8．8．2 RK（D）的定义及其数学特性8．9 限失真信源编码定理8．9．1 数据压缩的一般概念8．9．2 限失真信源编码极限定理习题

第9章 信源一信道编码定理9．1 信息传输速率的上界9．2 信源一信道编码极限定理习题附录 供熵函数计算用的几种函数表参考文献