定义1.14 (1) 设\(A,B\)为两个事件， 若 \[ P(A \cap B)=P(A)P(B), \] 则称\(A\)与\(B\)独立.

(2) 设\(A_1,A_2,\dots,A_n\)为\(n\)个事件， 如果对任何\(m \leq n\)及\(1 \leq i_1 < i_2 < \cdots < i_m \leq n\)，有 \[ P\left( \bigcap_{j=1}^m {A_{i_j}} \right) = \prod_{j=1}^m {P(A_{i_j})} , \] 则称\(A_1,A_2,\dots,A_n\)相互独立.

(3) 设\(\{A_i, i \in I\}\)是一族事件， 若对\(I\)的任意有限子集\(\{i_1, \dots, i_m \} \neq \emptyset\)都有 \[ P\left(\bigcap_{j=1}^m A_{i_j}\right) = \prod_{j=1}^m P(A_{i_j}), \] 则称\(\{A_i, i \in I\}\)是相互独立的.

(4) 设\(\{{\mathcal A}_i, i \in I\}\)是一族事件类， 如果对\(I\)的任意有限子集\(\{i_1, \dots, i_m \} \neq \emptyset\)和任意\(A_{i_j} \in {\mathcal A}_{i_j}\)(\(j=1,2,\dots,m\))都有 \[ P\left(\bigcap_{j=1}^m A_{i_j} \right) = \prod_{j=1}^m P(A_{i_j}), \] 则称\(\{{\mathcal A}_i, i \in I\}\)是独立事件类.

(5) 设\(\{ X_i, i \in I\}\)是\(\Omega\)上一族随机变量， 如果\(\sigma\)代数族\(\{\sigma(X_i), i \in I\}\)是独立事件类， 则称\(\{X_i, i \in I \}\)相互独立.

(6) 设\(\{ \boldsymbol X_i, i \in I\}\)是随机变量族的集合， 其中的每个\(\boldsymbol X_i\)是一族随机变量，\(I\)为足标集， 如果\(\sigma\)代数族\(\{\sigma(\boldsymbol X_i), i \in I\}\)是独立事件类， 则称\(\{\boldsymbol X_i, i \in I \}\)相互独立.

注1：当\(P(B)>0\)时， \(A, B\)相互独立当且仅当 \[ P(A|B) = P(A), \] 即\(B\)是否发生不影响到\(A\)发生的概率。

注2：\(A_1,A_2,\dots,A_n\)两两独立不一定相互独立.

容易证明随机变量\(X_1, \dots, X_n\)相互独立的充分必要条件是它们的联合分布函数可以分解为 \[ F(x_1, \dots, x_n) = F_{X_1}(x_1) \cdots F_{X_n}(x_n) . \] 对离散分布的随机变量，相互独立当且仅当 \[ P(X_1=x_1, \dots, X_n=x_n) = P(X_1=x_1) \cdots P(X_n=x_n), \ \forall x_1, \dots, x_n . \]

对连续型分布的随机向量\((X_1, \dots, X_n)\)， 其分量相互独立当且仅当分布密度等于边缘密度的乘积： \[ f(x_1, \dots, x_n) = f_{X_1}(x_1) \cdots f_{X_n}(x_n), \ \forall x_1, \dots, x_n . \]

随机变量\(X_1, \dots, X_n\)相互独立， 当且仅当其联合特征函数等于边缘特征函数的乘积： \[ E[\exp\{ i(t_1 X_1 + \dots + t_n X_n) \}] = E(e^{it_1 X_1}) \cdots E(e^{it_n X_n}), \ \forall (t_1, \dots, t_n) \in \mathbb R^n . \]

若随机变量\(X_1, \dots, X_n\)矩母函数存在， 则其相互独立当且仅当联合矩母函数等于边缘矩母函数的乘积： \[ E[\exp\{ t_1 X_1 + \dots + t_n X_n \}] = E(e^{t_1 X_1}) \cdots E(e^{t_n X_n}), \ \forall (t_1, \dots, t_n) \in D , \] 其中\(D\)为\(\mathbb R^n\)中使得矩母函数有定义的超长方体。

设\(A, B\)为两个事件，

\[\begin{aligned} & A, B \text{独立} \\ \iff& A, B^c \text{独立} \\ \iff& A^c, B \text{独立} \\ \iff& A^c, B^c \text{独立} \\ \iff& I_A, I_B \text{独立} . \end{aligned}\]

定理1.13 设\(\{ \mathscr F_i, i \in I \}\)是相互独立的\(\mathscr F\)的子\(\sigma\)代数族， \(\{ I_j \subset I: j \in J \}\)是\(I\)的互不相交的子集族， 则\(\{ \sigma(\mathscr F_k, k \in I_j): j \in J \}\)是相互独立的子\(\sigma\)代数族。

证明略，参见(王寿仁 1997) P.47 系2.4.7。

推论1.3 设随机变量族\(\{ X_i: i \in I \}\)相互独立， \(\{ I_j \subset I: j \in J \}\)是\(I\)的互不相交的子集族， 则\(\{ (X_k, k \in I_j), j \in J \}\)相互独立。

推论1.4 设\(\{X_n, n \in \mathbb Z\}\)是独立随机变量序列， 则其任意的不相交的子集仍为独立的随机变量族。

定理1.14 设\(\{X_i, i \in I\}\)是随机变量族， \(\{ I_j \subset I: j \in J \}\)是\(I\)的互不相交的子集族， \(g_j(\cdot), j \in J\)为可测函数， 令\(Y_j = g_j(X_k, k \in I_j)\)， 则\(\{Y_j, j \in J \}\)相互独立。

这个定理说明相互独立的随机变量进行不相交的分组后分别作变换， 结果仍相互独立。

证明： \(Y_j\)关于\(\sigma(X_k, k \in I_j)\)可测， 从而\(\sigma(Y_j) \subset \sigma(X_k, k \in I_j)\)。 令\(\mathscr F_i = \sigma(X_i)\)， 由定理1.13可知\(\{ \sigma(\mathscr F_k, k \in I_j): j \in J \}\)是相互独立的子\(\sigma\)代数族， 由事件类相互独立的定义可知\(\{\sigma(Y_j), j \in J\}\)相互独立， 即\(\{ Y_j, j \in J\}\)相互独立。

○○○○○○

定理1.15 (1) 设随机变量\(X_1, \dots, X_n\)是相互独立且一阶矩有限， 则 \[ E \left[\prod_{k=1}^n X_k \right] = \prod_{k=1}^n E[X_k] . \]

(2) 设随机变量\(X_1, \dots, X_n\)相互独立且二阶矩有限，则 \[ \text{Var} \left[ \sum_{k=1}^n X_k \right] = \sum_{k=1}^n \text{Var}[X_k] . \]

定理1.16 (Borel-Cantelli第一引理) 设\(\{A_n, n \geq 1\}\)是一列事件， 若 \[ \sum_{n=1}^{\infty} P(A_n)< \infty , \] 则 \[ P(A_n, \text{ i.o.}) = 0. \]

证明: \[\begin{aligned} & P(A_n, \text{ i.o.}) = P(\bigcap_{n=1}^\infty \bigcup_{m=n}^\infty A_m) \\ \leq& P(\bigcup_{m=n}^\infty A_m) \leq \sum_{m=n}^\infty P(A_m) \to 0 \ (n \to \infty) . \end{aligned}\]

○○○○○○

定理1.17 (Borel-Cantelli第二引理) 设\(\{A_n, n \geq 1\}\)是独立的事件列， 若 \[ \sum_{n=1}^{\infty} P(A_n) = +\infty, \] 则 \[ P(A_n, \text{ i.o.}) = 1. \]

定义1.15 设\(\{X_n, n \geq 1\}\)是随机变量序列， \(\mathscr {D}_k = \sigma(X_k, X_{k+1}, \dots)\)是由\(X_k,X_{k+1},\cdots\)生成的\(\sigma\)代数， 则\(\{\mathscr {D}_k\}\)是非增的列， 它们的交\(\mathscr{D} = \bigcap_{n \geq 1}{\mathscr {D}}_n\)称为序列\(\{X_n, n \geq 1\}\)的尾\(\sigma\)代数， \(\mathscr{D}\)中的集合称为\(\{X_n, n \geq 1 \}\)的尾事件.

定理1.18 (Kolmogorov 0-1律) 独立随机变量序列的尾事件的概率或为0或为1.

设随机变量\(X_1, X_2\)相互独立， \(F_1, F_2\)分别为它们的分布函数. 令\(X = X_1 + X_2\), 其分布函数记为 \(F_X(x)\). 则由独立性,有 \[\begin{align} F_X(x) =& P\{X_1+X_2\leq x\} \\ =& \int_{-\infty}^{\infty} P\{X_1+X_2 \leq x| X_1=t \} dF_1(t) \quad(\text{全期望公式}) \\ =& \int_{-\infty}^{\infty} F_2(x-t) \,dF_1(t) . \tag{1.1} \end{align}\] (1.1)式称作分布函数\(F_1,F_2\)的卷积， 记为\(F_1*F_2(x)\). 一般地对有界函数\(g(x)\)和一个单调函数\(F(x)\)， 都可以定义\(F\)与\(g\)的卷积: \[ F*g(x) \stackrel{\triangle}{=} \int_{-\infty}^{\infty} g(x-t) \,dF(t) . \]

这里需要注意的是\(F*g\)的顺序， \(g*F\)可能没有意义. 但是当\(F\)和\(g\)都是分布函数时， 卷积可以交换顺序， 只需注意到卷积中的随机变量\(X_1\)和\(X_2\)的地位是对等的即可得到 \[ F_1*F_2(x) = F_2*F_1(x) . \]

当\(F\)有密度\(f\)时，卷积\(F*g\)就是通常的两个函数的卷积： \[ F*g(x) = \int_{-\infty}^{\infty} g(x-t) \,dF(t) = \int_{-\infty}^{\infty} g(x-t) f(t) \,dt . \]

容易看出，对于分布函数， 卷积还满足结合律和分配律. 即对分布函数\(F,G,H\)，有 \[\begin{aligned} (F*G)*H(x) =& F*(G*H)(x) , \\ F*(G+H)(x) =& F*G(x) + F*H(x) . \end{aligned}\]

于是，更进一步还有， 设\(X_k, k=1,2,\dots,n\)是独立同分布\(F\)的随机变量，令 \[ S_0 = 0, \ S_n = \sum_{k=1}^n X_k, \ n=1,2,\dots, \] 将\(S_n\)的分布记作\(F_n\)，则有 \[\begin{aligned} F_0(x) =& \begin{cases} 0, & x < 0, \\ 1, & x \geq 0 , \end{cases} \\ F_n(x) =& F*F_{n-1}(x), n=1,2,\dots \end{aligned}\] 称\(F_n\)为\(F\)的\(n\)重卷积.

独立随机变量和的分布， 经常借助于矩母函数和特征函数研究， 这是利用了独立随机变量变量乘积的期望等于期望的乘积。

请参考(刘勇 2022)。

定义1.16 设\(B\)是一个事件， 且\(P(B)>0\)， 则事件\(B\)发生的条件下事件\(A\)发生的条件概率为 \[ P(A|B) = \frac{P(A \cap B)}{P(B)} \]

当\(P(B) > 0\)时， \(A, B\)独立当且仅当\(P(A|B)=P(A)\)。

定义1.17 设\(P(C) > 0\)， 称事件\(A, B\)在事件\(C\)的条件下独立， 若 \[ P(AB | C) = P(A | C) P(B | C) . \]

条件独立不一定独立， 独立也不一定条件独立。

定理1.19 (全概率公式) 设\(\{B_n\}\)是\(\Omega\)的一个分割， 且\(P(B_n)>0\), \(\forall n\). 对\(A \in {\mathscr F}\)，有 \[ P(A) = \sum_n P(B_n) P(A|B_n) . \]

定理1.20 (Bayes公式) 设\(\{B_n\}\)是\(\Omega\)的一个分割， 且\(P(B_n)>0\), \(\forall n\)， 如果\(P(A)>0\)，则 \[ P(B_k|A) = \frac{P(B_k) P(A|B_k)}{\sum_n P(B_n) P(A|B_n)}, \ \forall k . \]

如果\(X\)与\(Y\)是离散型随机变量， 设\(X\)的取值集合为\(\{x_k, k=1,2,\dots\}\)， 则给定\(X=x_k\)时，\(Y\)的条件概率分布定义为： \[ P\{Y=y | X=x_k \} = \frac{P\{X=x_k,Y=y\}}{P\{X=x_k\}} . \] \(Y\)的条件分布函数定义为： \[ F(y|x_k) = P\{Y \leq y | X=x_k\} . \] \(Y\)的条件期望定义为： \[ E[Y|X=x_k] = \int_{-\infty}^{\infty} y \,dF(y|x_k) = \sum_m y_m P\{Y=y_m | X=x_k\} . \]

如果\(X\)与\(Y\)有联合概率密度函数\(f(x,y)\)， 则对一切使得\(f_X(x) > 0\)的\(x\)， 给定\(X=x\)时， \(Y\)的条件概率密度函数定义为: \[ f(y|x)=\frac{f(x,y)}{f_X(x)} . \] \(Y\)的条件分布函数定义为： \[ F(y|x) = P\{Y \leq y| X=x \} = \int_{-\infty}^y f(u|x) \,du . \] \(Y\)的条件期望定义为： \[ E[Y|X=x] = \int_{-\infty}^{\infty} y \,dF(y|x) = \int_{-\infty}^{\infty} y f(y|x) \,dy . \]

当\(E[Y | X=x]\)有定义时， 记\(g(x) = E[Y | X=x]\)， \(g(X)\)是\(X\)的函数， 记作\(E[Y|X]\)。 \(E[Y|X]\)是利用自变量\(X\)的信息对因变量\(Y\)所作的均方误差最小的预测。

对离散分布的\(X\)， 设\(X\)的取值集合为\(\{x_k, k=1,2,\dots\}\)， 这时\(g(x_k) = E[Y | X=x_k]\), \(E[Y|X] = g(X)\)当\(X=x_k\)时为\(E[Y | X=x_k]\)， 所以可以写成 \[ E[Y | X] = \sum_{k=1}^\infty E[Y | X=x_k] I_{\{ X=x_k\}} . \]

给定\(X=x\)条件下的\(Y\)的条件分布的方差称为条件方差， 记为\(\text{Var}(Y|X=x)\)： \[ \text{Var}(Y|X=x) = \int_{-\infty}^\infty (y - E(Y|X=x))^2 \,dF(y | X=x) , \] 这是\(x\)的函数\(h(x)\)， 记\(\text{Var}(Y|X) = h(X)\)。

命题1.6 设\(E(Y^2) < \infty\)， 则 \[ \text{Var}(Y) = E[\text{Var}(Y|X)] + \text{Var}[E(Y|X)] . \]

证明： \[\begin{aligned} & E[\text{Var}(Y|X)] \\ =& \int_{-\infty}^\infty E\left\{ [ Y - E(Y|X=x)]^2 | X=x \right\} \,dF_X(x) \\ =& \int_{-\infty}^\infty \left\{ E(Y^2 | X=x) - [E(Y|X=x)]^2 \right\} \,dF_X(x) \\ =& \int_{-\infty}^\infty E(Y^2 | X=x) \,dF_X(x) - \int_{-\infty}^\infty [E(Y|X=x)]^2 \,dF_X(x). \\ & \text{Var}[E(Y|X)] \\ =& E\{ [E(Y|X)]^2 \} - \{ E[E(Y|X)] \}^2 \\ =& \int_{-\infty}^\infty [E(Y|X=x)]^2 \,dF_X(x) - [E(Y)]^2 , \\ & E[\text{Var}(Y|X)] + \text{Var}[E(Y|X)] \\ =& \int_{-\infty}^\infty E(Y^2 | X=x) \,dF_X(x) - [E(Y)]^2 \\ =& E[E(Y^2|X)] - [E(Y)]^2 = E(Y^2) - [E(Y)]^2 = \text{Var}(Y) . \end{aligned}\]

○○○○○○

定理1.21 (全期望公式) 设\(X, Y\)为随机变量， 期望存在， 则 \[\begin{align} E[Y] = E\{ E[Y|X] \} = \int_{-\infty}^\infty E[Y|X=x] \,dF_X(x) . \tag{1.2} \end{align}\]

当\(X\)为一个离散随机变量时， 设其取值集合为\(\{x_k, k=1,2,\dots\}\)，(1.2)式为 \[ E[Y] = \sum_{k=1}^\infty E[Y|X=x_k] P\{X=x_k\} . \] 当\((X, Y)\)为连续型随机向量时，(1.2)式为 \[ E[Y] = \int_{-\infty}^{\infty} E[Y|X=x] f_X(x) \,dx . \]

例1.16 (随机个随机变量之和) 设\(X_1,X_2,\dots\)是一列独立同分布的随机变量； 设\(N\)为取非负整数值的随机变量， 且与序列\(X_1,X_2,\dots\)独立. 求\(Y=\sum_{i=1}^{N} X_i\)的均值和方差.

解： 如果\(X_1\)的矩母函数\(\phi(t)\)存在， 可以求\(Y\)的矩母函数 \[\begin{aligned} \phi_Y(t) =& E(e^{t Y}) = E[E(e^{t Y} | N)] = \sum_{n=0}^\infty E(e^{t Y} | N=n) P(N=n) \\ =& P(N=0) + \sum_{n=1}^\infty \prod_{i=1}^n E(e^{t X_i}) P(N=n) \\ =& P(N=0) + \sum_{n=1}^\infty [\phi(t)]^n P(N=n) \\ =& E[\phi(t)]^N . \end{aligned}\] 对\({\phi}_Y(t)\)求导得 \[\begin{aligned} \phi_Y'(t) =& E[N({\phi}(t))^{N-1}{\phi}'(t)] , \\ E(Y) =& \phi_Y'(0) = E[N E(X_1)] = E(N) E(X_1) .\\ \phi_Y''(t) =& E[N(N-1)({\phi}(t))^{N-2}({\phi}'(t))^2 + N({\phi}(t))^{N-1}{\phi}''(t)] , \\ E(Y^2) =& \phi_Y''(0) = E[N(N-1) [E(X_1)]^2] + E[N E(X_1^2)] \\ =& [E(X_1)]^2 E[N(N-1)] + E(X_1^2) E(N), \\ \text{Var}(Y) =& E(Y^2) - [E(Y)]^2 \\ =& [E(X_1)]^2 E[N(N-1)] + E(X_1^2) E(N) - [E(N)]^2 [E(X_1)]^2 \\ =& [E(X_1)]^2 \text{Var}(N) + \text{Var}(X_1) E(N) . \end{aligned}\]

因为\(X_1\)的矩母函数不一定存在， 我们直接求\(E(Y)\)和\(E(Y^2)\)。 \[ E(Y) = E[E(Y|N)], \] 其中 \[\begin{aligned} E(Y|N=n) =& E(\sum_{i=1}^n X_i | N=n) \\ =& E(\sum_{i=1}^n X_i) \quad (\text{利用独立性}) \\ =& n E(X_1), \end{aligned}\] 故 \[ E(Y) = E(N E(X_1)) = E(X_1) E(N) . \]

再来求 \[ E(Y^2) = E[E(Y^2 | N)] , \] 其中 \[\begin{aligned} & E(Y^2 | N=n) = E[ (\sum_{i=1}^n X_i)^2 | N=n] \\ =& E[ (\sum_{i=1}^n X_i)^2 ] = \text{Var}[\sum_{i=1}^n X_i] + [ E(\sum_{i=1}^n X_i) ]^2 \\ =& n \text{Var}(X_1) + n^2 [E(X_1)]^2, \end{aligned}\] 故 \[\begin{aligned} E(Y^2) =& E\{N \text{Var}(X_1) + N^2 [E(X_1)]^2 \} \\ =& E(N) \text{Var}(X_1) + E(N^2) [E(X_1)]^2, \\ \text{Var}(Y) =& E(Y^2) - [E(Y)]^2 \\ =& [E(X_1)]^2 \text{Var}(N) + \text{Var}(X_1) E(N) . \end{aligned}\]

求\(\text{Var}(Y)\)， 也可以利用 \[\begin{aligned} & \text{Var}(Y|N=n) = \text{Var}(\sum_{i=1}^n X_i | N=n) \\ =& \text{Var}(\sum_{i=1}^n X_i) = n \text{Var}(X_1) \end{aligned}\] 得到\(\text{Var}(Y|N) = N \text{Var}(X_1)\)， 从而得到 \[\begin{aligned} \text{Var}(Y) =& E[\text{Var}(Y|N)] + \text{Var}[E(Y|N)] \\ =& E[N \text{Var}(X_1)] + \text{Var}[N E(X_1)] \\ =& [E(X_1)]^2 \text{Var}(N) + \text{Var}(X_1) E(N) . \end{aligned}\]

○○○○○○

例1.17 一个矿工陷进一个有三个门的矿井。 第一个门通向一个隧道， 沿此隧道走2小时的旅程他可到达安全地； 第二个门通向另一个隧道， 沿此隧道走3小时会使他回到矿井； 第三个门通向一个隧道， 沿此隧道走5小时会使他回到矿井。 假定矿工总是等可能地选取任意一个门， 用\(X\)表示矿工到达安全地所需的时间， 求\(X\)的均值及矩母函数。

解： 写出\(X\)的分布列很困难， 故无法直接求其均值。 在类似的问题中， 我们经常使用关于某种初始状态（或选择）取条件的方法。

令\(Y\)表示矿工第一次选择的门， 即\(\{Y=i\}\)表示第一次选择第\(i\)个门， 由题意知 \[ p\{Y=1\}=P\{Y=2\}=P\{Y=3\}=\frac{1}{3} . \]

关于\(Y\)取条件，有 \[\begin{aligned} E[X] =& E[E(X|Y)] \\ =& \sum_{i=1}^3 E[X|Y=i] P(Y=i) \\ =& \frac{1}{3} \{E[X|Y=1] + E[X|Y=2] + E[X|Y=3] \} \\ =& \frac{1}{3} \{2 + (3+E[X]) + (5+E[X]) \} . \end{aligned}\] 故有\(E[X]=10\).

矩母函数： \[\begin{aligned} E[e^{tX}] =& E[E(e^{tX}|Y)] \\ =& \frac{1}{3}\{E[e^{tX}|Y=1] + E[e^{tX}|Y=2] + E[e^{tX}|Y=3]\}, \end{aligned}\] 易知\(E[e^{tX}|Y=1]=e^{2t}\)； 当\(Y=2\)时，\(X=3+X'\)， 其中\(X'\)是回到矿井后再到达安全区所附加的时间， \(X\)与\(X'\)有相同的分布，故有 \[ E[e^{tX}|Y=2] =E[e^{t(3 + X')}] =e^{3t} E[e^{tX}] , \] 同理可得 \[ E[e^{tX}|Y=3] = E[e^{t(5+X')}] =e^{5t} E[e^{tX}] . \] 于是得 \[ E[e^{tX}] = \frac{e^{2t}}{3-e^{3t}-e^{5t}} . \]

○○○○○○

最后我们将条件期望推广到一般随机变量及\(\sigma\)代数情形.

设\(X\)是随机变量， \(B\)是事件且\(P(B)>0\)， 则给定事件\(B\)， 随机变量\(X\)的条件期望定义为 \[ E[X|B] = [P(B)]^{-1} E[X I_B] . \]

这相当于将\(\Omega\)限制到\(B\)中得到一个新的概率测度， 在这个概率测度下求\(X\)的期望。

设\(\mathscr G\)是概率空间\((\Omega, \mathscr F, P)\)的子\(\sigma\)代数， \(X\)为\((\Omega, \mathscr F, P)\)中的随机变量。 \(X\)与\(\mathscr G\)的关系可以分为如下三种情况：

所谓已知\(\mathscr G\)后所能获得的信息， 可以理解为试验结果\(\omega \in \Omega\)的信息不能完全知道， 但\(\forall A \in \mathscr G\)， \(\omega \in A\)还是\(\omega \notin A\)都可以给出明确答案。 \(\mathscr G\)中的集合越多， 能给出明确答案的问题就越多； 最小的\(\sigma\)代数是\(\{\Omega, \emptyset \}\)， 相当于没有信息。

定义1.18 设\(Y\)是随机变量且\(E|Y|