定义5.1.1：离散无记忆信道信道容量定义为 C = max ⁡ p ( x ) I ( X ; Y ) C = \max_{p(x)}I(X;Y) C=maxp(x)​I(X;Y)。将信道容量定义为信道的最高码率。在此码率下，信息能够以任意小的差错概率传输。（香农第二定理）

信道例子：无噪声二元信道、无重叠输出的有噪声信道、有噪声的打字机信道；

译码： W ^ = g ( Y n ) \hat{W}=g(Y^n) W^=g(Yn)猜测消息 W W W。

定义5.1.2（离散信道）：用 ( X , p ( y ∣ x ) , Y ) (X,p(y|x),Y) (X,p(y∣x),Y)表示的离散信道由两个有限集 X X X和 Y Y Y以及一簇概率密度函数 p ( y ∣ x ) p(y|x) p(y∣x)构成，其中对任意 x , y x,y x,y有 p ( y ∣ x ) ⩾ 0 p(y|x)\geqslant 0 p(y∣x)⩾0，以及对任意的 x x x，有 ∑ p ( y ∣ x ) = 1 \sum p(y|x) = 1 ∑p(y∣x)=1而 x x x和 y y y分别看作信道的输入与输出。

定义5.1.3（扩展信道）： 离散无记忆信道（DMC）的 n n n次扩展是指信道 ( X n , p ( y n ∣ x n ) , Y n ) (X^n,p(y^n|x^n),Y^n) (Xn,p(yn∣xn),Yn)，其中 p ( y k ∣ x k , y k − 1 ) = p ( y k ∣ x k ) p(y_k|x^k,y^{k-1}) = p(y_k | x_k) p(yk​∣xk,yk−1)=p(yk​∣xk​)。

定义5.1.4（编码）：信道 ( X , p ( y ∣ x ) , Y ) (X,p(y|x),Y) (X,p(y∣x),Y)的 ( M , n ) (M,n) (M,n)码由以下部分构成：（1）下标集 { 1 , 2 , … , M } \{1,2,…,M\} { 1,2,…,M} ；（2）编码函数为 X n : { 1 , 2 , … , M } → X n X^n: \{1,2,…,M\}\to X^n Xn:{ 1,2,…,M}→Xn上的映射，生成码字 x n ( 1 ) , x n ( 2 ) , … , x n ( M ) x_n(1), x_n(2),…, x_n(M) xn​(1),xn​(2),…,xn​(M)。码字集合称为码书；（3）译码函数 g : Y n → { 1 , 2 ,