本文主要介绍一下马尔可夫随机过程的概念及特性。

设 (Ω,F,P) 是概率空间， T 是给定的参数集，对于每个 t∈T ，有一个随机变量 X(t,e) 与之对应，则称随机变量族 { X(t,e),t∈T} 是 (Ω,F,P) 上的随机过程，简记为 { X(t),t∈T} 。 T 称为参数集，通常表示时间。

我们可以将 X(t) 理解为系统在时刻 t 所处的状态， X(t) 的所有可能状态构成的集合称为状态空间或相空间， 记为 I 。

从数学的观点来说，随机过程 {X(t,e),t∈T} 是定义在 T×Ω 上的二元函数，对固定的 t ， X(t,e) 是 (Ω,F,P) 上的随机变量；对固定的 e ， X(t,e) 是定义在 T 上的普通函数，称为随机过程 {X(t,e),t∈T} 的一个样本函数或轨道，样本函数的全体称为样本函数空间。

设 { X(t),t∈T} 是随机过程，对任意 n≥1 和 t1,t2,…,tn∈T ，随机向量 (X(t1),X(t2),…,X(tn)) 的联合分布函数为