本文的主要内容是马尔可夫过程的分类、马尔可夫链的定义、一步和n步转移概率、马尔可夫链的状态分类、状态空间的分解、平稳分布以及相关例题的解析。

时间、状态都离散的马尔可夫过程，称为马尔可夫链。 时间连续、状态离散的马尔可夫过程，称为连续时间马尔可夫链。 时间、状态都连续，称为马尔可夫过程。

马尔可夫链的统计特性完全由条件概率： 所决定。

称上式的条件概率为马尔可夫链 {Xn,n∈T} 在时刻 n 的一步转移概率，简称为转移概率，其中的 i,j∈I。 转移概率p不仅与状态 i,j 有关，还与时刻 n 有关，当p不依赖于n时，表示马尔可夫链具有平稳转移概率。 转移概率p与n无关时，称马尔可夫链 {Xn,n∈T} 是齐次的。 一步转移概率矩阵的性质： 对（1），即矩阵中的每个元素都是大于等于0的；对（2），矩阵中的每行元素的和为1。通常满足（1）和（2）的矩阵为随机矩阵。

其具有的性质有： 其中性质(1)称为切普曼-柯尔莫哥洛夫方程，简称为C-K方程。 性质(2)说明n步转移概率由一步转移概率确定。 性质(3)(4)说明n步转移矩阵可以由一步转移矩阵乘n次得到。

如果集合： 非空，则称该集合的最大公约数 d 为状态i的周期，d>1 就称 i 是周期的，d=1 就称 i 是非周期的。

上式表示质点从状态 i 出发，经过有限步终于到达 j 的概率。 若 i 是非常返的，则从 i 出发后以正概率 1-f_ii 永远不再返回到 i 。 若 i 是常返的，由定义： 构成一个概率分布，其分布的期望值为： 它表示由 i 出发再次返回到 i 的平均返回时间。 若 i 是常返的，则有：

设C为状态空间 I 的非空子集，若对任意 i ∈C 及 k∉C 都有p_ik =0，则称C为闭集。若C中所有的状态是互通的，称C为不可约的闭集。若马尔可夫链 {Xn} 的状态空间 I 是不可约的闭集，则称 {Xn} 为不可约的马尔可夫链。 闭集的意思是自C的内部不能到达C的外部，这意味着一旦质点进入闭集C中，它将永远留在C中循环运动。 任一马氏链的状态空间 I，可唯一地分解成有限个或可列个互不相交的子集D，C1，C2，… 之和，使得： 用一个式子表达状态空间 I 如下。

设{Xn，n≥0} 是齐次马尔可夫链，状态空间为 I ，转移概率为p_ij。 不可约非周期马尔可夫链才能求其平稳分布。

以上就是马尔可夫过程及其例题分析章节的所有内容了，本文参考的是刘次华随机过程第五版课本。