定义2.1 随机过程是概率空间\((\Omega, {\mathscr F}, P)\)上的一族随机变量\(\{X(t), t \in T\}\)， 其中\(t\)是参数，它属于某个指标集\(T\), \(T\)称为参数集.

注：

\(X(t)\)表示系统在时刻\(t\)所处的状态. \(X(t)\)的所有可能状态构成的集合为状态空间，记为\(S\). 一般如果不作说明都认为状态空间是实数集\(\mathbb R\)或\(\mathbb R\)的子集.

随机过程的分类:

（1）依照状态空间可分为连续状态和离散状态；

（2）依照参数集，可分为离散参数过程和连续参数过程。

例2.1 (随机游动) 一个醉汉在路上行走，以概率\(p\)前进一步， 以概率\(1-p\)后退一步（假定其步长相同）. 以\(X(t)\)记他在路上的位置， 则\(X(t)\)就是直线上的随机游动.

例2.2 (布朗运动) 英国植物学家布朗注意到飘浮在液面上的微小粒子不断进行无规则的运动, 这种运动后来称为布朗运动. 它是分子大量随机碰撞的结果. 若记\((X(t),Y(t))\)为粒子在平面坐标上的位置， 则它是平面上的布朗运动.

例2.3 (排队模型) 顾客来到服务站要求服务. 当服务站中的服务员都忙碌， 即服务员都在为别的顾客服务时， 来到的顾客就要排队等候. 顾客的到来、每个顾客所需的服务时间都是随机的， 所以如果用\(X(t)\)表示\(t\)时刻的队长， 用\(Y(t)\)表示\(t\)时刻到来的顾客所需的等待时间， 则\(\{X(t), t \in T\}\), \(\{Y(t), t \in T\}\)都是随机过程.

定义2.2 对任意有限个\(t_1, \dots, t_n \in T\)， 定义随机过程的\(n\)维分布\(F_{t_1, \dots, t_n}(x_1, \dots, x_n)\)： \[ F_{t_1, \dots, t_n}(x_1, \dots, x_n) = P(X(t_1) \leq x_1, \dots, X(t_n) \leq x_n). \] 随机过程的所有的一维分布，二维分布，……，\(n\)维分布等等的全体 \[ \{ F_{t_1, \dots, t_n}(x_1, \dots, x_n):\; t_1, \dots, t_n \in T, n \geq 1 \} \] 称为随机过程\(\{X(t), t \in T\}\)的有限维分布族.

注： 知道了随机过程的有限维分布族就知道了\(\{X(t), t \in T\}\)中任意\(n\)个随机变量的联合分布， 也就掌握了这些随机变量之间的相互依赖关系.

分布族的性质:

（1）对称性： 对\((1,2,\dots,n)\)的任一排列\((j_1, j_2, \dots, j_n)\)，有 \[\begin{aligned} & F_{t_{j_1}, \dots, t_{j_n}}(x_{j_1}, \dots, x_{j_n}) \\ =& P(X(t_{j_1}) \leq x_{j_1}, \dots, X(t_{j_n}) \leq x_{j_n}) \\ =& P(X(t_1) \leq x_{t_1}, \dots, X(t_n) \leq x_{t_n}) \\ =& F_{t_1, \dots, t_n}(x_1, \dots, x_n). \end{aligned}\]

（2）相容性： 对于 \(m < n\)，有 \[ F_{t_1, \dots, t_m, t_{m+1}, \dots, t_n} (x_1, \dots, x_m, \infty, \dots, \infty) = F_{t_1, \dots, t_m}(x_1, \dots, x_m). \]

定理2.1 (Kolmogorov存在性定理) 设有限维分布函数\(\{F_{t_1, \dots, t_n}(x_1, \dots, x_n):\; t_1, \dots, t_n \in T, n \geq 1\}\)满足上述的对称性和相容性， 则必存在一个随机过程\(\{X(t), t \in T\}\)，使 \[ \{F_{t_1, \dots, t_n}(x_1, \dots, x_n):\; t_1, \dots, t_n \in T, n \geq 1\} \] 恰好是\(\{X(t), t \in T\}\)的有限维分布族.

证明略。

定义2.3 (高斯过程) 若随机过程\(\{ X(t), t \in T \}\)的所有有限维分布都是多元正态分布， 则称\(\{X(t) \}\)为高斯过程。

注：随机过程的有限维分布族是随机过程概率特征的完整描述, 它是证明随机过程存在性的有力工具. 但是在实际问题中， 要知道随机过程的全部有限维分布是不可能的， 因此， 人们想到了用随机过程的某些数字特征来刻画随机过程.

定义2.4 设\(\{X(t), t \in T\}\)是一随机过程.

（1）称\(X(t)\)的期望\(\mu_X(t) = E[X(t)]\)为过程的均值函数(如果存在的话).

（2）如果\(\forall t \in T\), \(E[X^2(t)]\)存在， 则称随机过程\(\{X(t), t \in T \}\)为二阶矩过程. 此时，称函数\(\gamma(t_1, t_2) = E[(X(t_1)-\mu_X(t_1))(X(t_2)-\mu_X(t_2))]\), \(t_1, t_2 \in T\) 为过程的协方差函数； 称\(Var[X(t)] = \gamma(t,t)\)为过程的方差函数.

由Schwartz不等式知， 二阶矩过程的协方差函数存在。

有些教材还定义如下的相关函数： \[ R(t_1, t_2) = E[X(t_1) X(t_2)] = \gamma(t_1, t_2) + \mu_X(t_1) \mu_X(t_2) . \]

协方差函数\(\gamma(s, t)\)满足如下的性质：

（1）对称性：\(\gamma(s, t) = \gamma(t, s)\)；

（2）非负定性：对任意正整数\(n\)和任意\(t_1, \dots, t_n \in T\), 任意实数\(a_1, \dots, a_n\)，都有 \[ \sum_{i=1}^n \sum_{j=1}^n a_i a_j \gamma(t_i, t_j) \geq 0 . \]

例2.4 \(X(t)=X_0 + tV\), \(a \leq t \leq b\), 其中\(X_0\)和\(V\)是相互独立且服从\(N(0,1)\)分布的随机变量. 求均值函数和协方差函数。

由多元正态分布的性质可知\(X(t)\)服从正态分布， 且\(X(t_1), \dots, X(t_n)\)也是\(n\)维正态分布. 所以只要知道它的一阶矩和二阶矩就完全确定了它的分布. 每一条轨道是一条直线， 截距和斜率都是随机变量的值。

\[\begin{aligned} \mu_X(t) = E[X(t)] = E(X_0 + tV) = EX_0 + t EV =0 ,\\ \gamma(t_1, t_2) = E[X(t_1)X(t_2)] = E[(X_0 + t_1 V)(X_0 + t_2 V)] \\ = E[X_0^2] + t_1 t_2 E[V^2] = 1 + t_1 t_2. \end{aligned}\]

定理2.2 (高斯过程存在定理) 设\(\mu(t)\)，\(t \in T\)为实值函数， \(\gamma(s, t)\), \(s, t \in T\)为二元实值函数， 满足对称性与非负定性条件， 则存在高斯过程\(\{ X(t), t \in T\}\)使得\(\{ X(t) \}\)以\(\mu(t)\)为均值函数， 以\(\gamma(s,t)\)为协方差函数。

证明略， 参见(谢衷洁 1990) P.5。

定义2.5 如果随机过程\(\{ X(t), t \in T\}\)对任意的\(t_1, \dots, t_n \in T\)和任意的\(h\)(使得\(t_i + h \in T\))， \((X(t_1+h), \dots, X(t_n+h))\)与\((X(t_1), \dots, X(t_n))\)具有相同的联合分布， 记为 \[ (X(t_1+h), \dots, X(t_n+h)) \stackrel{d}{=} (X(t_1), \dots, X(t_n)), \] 则称\(\{ X(t), t \in T\}\)为严平稳的.

定义2.6 如果\(X(t)\)是二阶矩过程， 并且均值函数\(E[X(t)] = \mu\)（不依赖于\(t\)）, 协方差函数\(\gamma(t,s)\)只与时间差\(t-s\)有关， 则称\(\{ X(t), t \in T\}\)为宽平稳过程或二阶平稳过程.

注：

当参数\(t\)仅取整数值\(0,\pm 1, \pm 2, \dots\)或\(0, 1, 2, \dots\)时， 称平稳过程为平稳序列.

例2.5 (白噪声序列) 设\(\{X_n, n=0, 1, \dots \}\)为一列两两互不相关的随机变量序列， 满足\(EX_n=0\), \(n=0,1,2,\dots\), 且 \[ E(X_m X_n) = \begin{cases} 0 & \text{当} m \neq n , \\ \sigma^2 & \text{当} m=n , \end{cases} \] 则称\(\{X_n \}\)是白噪声序列， 记为\(\text{WN}(0, \sigma^2)\)。 白噪声序列\(\{X_n\}\)是平稳的. 这是因为协方差函数\(\text{Cov}(X_n, X_m)=E(X_n X_m)\)只与\(m-n\)有关.

例2.6 (线性序列) 设\(\{ \varepsilon(n), n \in \mathbb Z \}\)为白噪声列WN(0,\(\sigma^2\))， 实数列\(\{a_j, j \in \mathbb Z\}\)满足\(\sum_{j=-\infty}^{\infty} |a_j| < \infty\)， 定义 \[ X(t) = \sum_{j=-\infty}^{\infty} a_j \varepsilon(t-j), \ t \in \mathbb Z, \] 则\(\{X(t) \}\)定义的级数a.s.收敛， 称\(\{X(t) \}\)为线性序列。

例2.7 (AR模型) 设\(\{ \varepsilon_n, n \in \mathbb Z \}\)为白噪声列WN(0,\(\sigma^2\))， 实数\(a\)满足\(|a|