假定现在有一个二元对称信道，其 ε = 2 3 \varepsilon=\frac{2}{3} ε=32​，译码器将接收到符号0译成发送符号为0，将收到符号1译成发送符号1。如果按照这个规则进行译码，只有当发送符号为0并且接收端收到0时为正确译码，因此对于发送符号0来说，译对的可能性只有 1 3 \frac{1}{3} 31​，如果发送端发送0而接收端收到了1，因而译码成1，显然是错误译码。如果发送端以等概率发送0,1，则平均错误概率为 P E = P ( 0 ) P e ( 0 ) + P ( 1 ) P e ( 1 ) = 2 3 P_E=P(0)P_e^{(0)}+P(1)P_e^{(1)}=\frac{2}{3} PE​=P(0)Pe(0)​+P(1)Pe(1)​=32​ 而如果译码器将收到的0译成1，收到的1译成0，译错的可能性就会变成 1 3 \frac{1}{3} 31​ 接下来定义译码规则：设离散单符号信道的输入符号集为 A = a i , i = 1 , 2 , ⋯   , r A={a_i},i=1,2,\cdots,r A=ai​,i=1,2,⋯,r，输出符号集为 B = b j , j = 1 , 2 , ⋯   , s B={b_j},j=1,2,\cdots,s B=bj​,j=1,2,⋯,s，制定译码规则就是定义一个函数 F ( b j ) F(b_j) F(bj​)，使得 F ( b j ) = a i F(b_j)=a_i F(bj​)=ai​

如果信道收到符号 b j b_j bj​，就将它译成 a i a_i ai​，如果发送端发送的就是 a i a_i ai​，就将它看作是正确译码，反之就是错误译码，条件错误概率可以表达为 P ( e ∣ b j ) = 1 − P [ F ( b j ) ∣ b j ] = 1 − P ( a i ∣ b j ) P(e|b_j)=1-P[F(b_j)|b_j]=1-P(a_i|b_j) P(e∣bj​)=1−P[F(bj​)∣bj​]=1−P(ai​∣bj​)，对译码空间取均值即为平均错误概率 P E = ∑ j = 1 s P ( b j ) P ( e ∣ b j ) P_E=\sum_{j=1}^sP(b_j)P(e|b_j) PE​=j=1∑s​P(bj​)P(e∣bj​) P ( b j ) P(b_j) P(bj​)与译码准则无关，所以我们只要让每一个条件错误概率最小即可，即选择译码函数 F ( b j ) = a ∗ F(b_j)=a^* F(bj​)=a∗使得 P ( a ∗ ∣ b j ) ≥ P ( a i ∣ b j ) P(a^*|b_j)\geq P(a_i|b_j) P(a∗∣bj​)≥P(ai​∣bj​)也可以表达为 P ( a ∗ , b j ) ≥ P ( a i , b j ) P(a^*,b_j)\geq P(a_i,b_j) P(a∗,bj​)≥P(ai​,bj​)这就是最大后验概率准则或最小错误概率准则

由贝叶斯概率公式可知 P ( b j ∣ a ∗ ) P ( a ∗ ) P ( b j ) ≥ P ( b j ∣ a i ) P ( a i ) P ( b j ) \frac{P(b_j|a^*)P(a^*)}{P(b_j)}\geq \frac{P(b_j|a_i)P(a_i)}{P(b_j)} P(bj​)P(bj​∣a∗)P(a∗)​≥P(bj​)P(bj​∣ai​)P(ai​)​ P ( b j ∣ a ∗ ) P ( a ∗ ) ≥ P ( b j ∣ a i ) P ( a i ) P(b_j|a^*)P(a^*)\geq P(b_j|a_i)P(a_i) P(bj​∣a∗)P(a∗)≥P(bj​∣ai​)P(ai​) 如果输入等概率分布，可以表达成 P ( b j ∣ a ∗ ) ≥ P ( b j ∣ a i ) P(b_j|a^*)\geq P(b_j|a_i) P(bj​∣a∗)≥P(bj​∣ai​)

定义码集中的任意两个码字，其汉明距离的最小值为这个码集的最小距离 D ( α ∗ , β j ) ≤ D ( α i , β j ) D(\alpha^*,\beta_j)\leq D(\alpha_i,\beta_j) D(α∗,βj​)≤D(αi​,βj​)

总而言之，最大似然译码准则就是给定一个传递函数矩阵 P P P,对于一个给定的 j j j，找出第 j j j列概率的最大值（假设在第 i i i行）， b j b_j bj​就译成 a i a_i ai​ 而对于最大后验概率准则，则先要求出联合概率矩阵，在仿照最大似然译码准则进行译码