设随机变量 X X X只取有限个可能值 a i ( i = 0 , 1 , . . . , m ) a_i (i=0, 1, ..., m) ai​(i=0,1,...,m)，其概率分布为 P ( X = a i ) = p i P (X = a_i) = p_i P(X=ai​)=pi​. 则 X X X的数学期望，记为 E ( X ) E(X) E(X)或 E X EX EX，定义为：

E ( X ) = ∑ i a i p i E(X) = \sum\limits_ia_ip_i E(X)=i∑​ai​pi​

设 X X X为随机变量，分布为 F F F，则

V a r ( X ) = E ( X − E X ) 2 Var(X) = E(X-EX)^2 Var(X)=E(X−EX)2

称为 X X X(或分布 F F F)的方差，其平方根 V a r ( X ) \sqrt{Var(X)} Var(X) ​称为 X X X(或分布 F F F)的标准差.

方差和标准差是刻画随机变量在其中心位置附近散布程度的数字特征。

注意：样本方差和总体方差的区别

统计学上对于样本方差的无偏估计使用如下公式计算：

s 2 = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 s^2 = \frac{1}{n-1} \sum\limits_{i=1}^n(x_i -\bar{x})^2 s2=n−11​i=1∑n​(xi​−xˉ)2

前面有一个系数 1 n − 1 \frac{1}{n-1} n−11​，当时当样本数量很大的时候， n n − 1 \frac{n}{n-1} n−1n​近似为1，可以直接使用总体方差公式进行计算。

协方差用来刻画两个随机变量 X , Y X, Y X,Y之间的相关性，定义为

C o v ( X , Y ) = E [ ( X − E X ) ( Y − E Y ) ] Cov(X, Y) = E[(X - EX)(Y-EY)] Cov(X,Y)=E[(X−EX)(Y−EY)]

如果协方差为正，说明X，Y同向变化，协方差越大说明同向程度越高；如果协方差为负，说明X，Y反向运动，协方差越小说明反向程度越高

相关系数可以理解为标准化以后的协方差，设 X X X的标准差为 σ x \sigma_x σx​， Y Y Y的标准差为 σ y \sigma_y σy​定义为

ρ = C o v ( X , Y ) σ x σ y \rho = \frac{Cov(X, Y)}{\sigma_x\sigma_y} ρ=σx​σy​Cov(X,Y)​

相关系数消除了两个变量变化幅度的影响，而只是单纯反应两个变量每单位变化时的相似程度

协方差只能表示两个随机变量的相关程度（二维问题），对于大于二维的随机变量，可以使用协方差矩阵表示.

协方差矩阵的每一个值就是对应下标的两个随机变量的协方差

对于三维协方差矩阵， C = [ C o v ( X , X ) C o v ( X , Y ) C o v ( X , Z ) C o v ( Y , X ) C o v ( Y , Y ) C o v ( X , Y ) C o v ( Z , X ) C o v ( Z , Y ) C o v ( Z , Z ) ] C=\begin{bmatrix}Cov(X, X) ; Cov(X, Y) ; Cov(X, Z) \\ Cov(Y, X) ; Cov(Y, Y) ; Cov(X, Y) \\ Cov(Z, X) ; Cov(Z, Y) ; Cov(Z, Z)\end{bmatrix} C=⎣⎡​Cov(X,X)Cov(Y,X)Cov(Z,X)​Cov(X,Y)Cov(Y,Y)Cov(Z,Y)​Cov(X,Z)Cov(X,Y)Cov(Z,Z)​⎦⎤​

一组可能的输出结果：