信源，指的是消息的来源。若信源输出的消息是以取值离散的符号形式出现，其不同符号数是有限个，或为可列无限个，则此信源称为离散信源。若输出的消息的取值是连续的，则称其为连续信源。按输出符号之间的依赖关系，也可将信源分为无记忆信源和有记忆信源。

  离散信源通常用随机变量 X X X表示， X X X的可能取值，即信源的可能输出的不同符号用集合 χ \chi χ表示。如若将抛硬币这一随机试验看做一个信源的话，其取值集合即为 χ = { 正 ， 反 } \chi=\{正，反\} χ={正，反}。

  要解决信息的度量问题，我们将信源发出某个信号 x 0 ∈ χ x_0\in\chi x0​∈χ后所提供的信息量的多少定义为 x 0 x_0 x0​的自信息，记为 I ( x 0 ) I(x_0) I(x0​)。自信息度量的是信号 x 0 x_0 x0​的不确定性（发生的可能性）。如果用概率 p ( x 0 ) p(x_0) p(x0​)表示 x 0 x_0 x0​发生的概率，则 I ( x 0 ) I(x_0) I(x0​)应该为 p ( x 0 ) p(x_0) p(x0​)的一个函数，且满足如下公理：