协方差矩阵： 当变量多了，超过两个变量了。那么，就用协方差矩阵来衡量这么多变量之间的相关性。假设 X X X 是以 n n n个随机变数（其中的每个随机变数是也是一个向量，当然是一个行向量）组成的列向量： X = [ X 1 X 2 ⋮ X n ] X = \begin{bmatrix} X_1 \\ X_2 \\ \vdots \\ X_n \end{bmatrix} X=⎣⎢⎢⎢⎡​X1​X2​⋮Xn​​⎦⎥⎥⎥⎤​ 其中， μ i μ_i μi​是第i个元素的期望值，即 μ i = E ( X i ) μ_i=E(X_i) μi​=E(Xi​)。协方差矩阵的第 i , j i,j i,j项（第 i , j i,j i,j项是一个协方差）被定义为如下形式： ∑ i j = c o v ( X i , X j = E [ ( X i − μ i ) ( X j − μ j ) ] ) \sum_{ij} = cov(X_i,X_j = E[(X_i-\mu_i)(X_j-\mu_j)]) ij∑​=cov(Xi​,Xj​=E[(Xi​−μi​)(Xj​−μj​)]) 即： ∑ = [ E [ ( X 1 − μ 1 ) ( X 1 − μ 1 ) ] ) E [ ( X 1 − μ 1 ) ( X 2 − μ 2 ) ] ) ⋯ E [ ( X 1 − μ 1 ) ( X n − μ n ) ] ) E [ ( X 2 − μ 2 ) ( X 1 − μ 1 ) ] ) E [ ( X 2 − μ 2 ) ( X 2 − μ 2 ) ] ) ⋯ E [ ( X 2 − μ 2 ) ( X n − μ n ) ] ) ⋮ ⋮ ⋱ ⋮ E [ ( X n − μ n ) ( X 1 − μ 1 ) ] ) E [ ( X n − μ n ) ( X 2 − μ 2 ) ] ) ⋯ E [ ( X n − μ n ) ( X n − μ n ) ] ) ] \sum = \begin{bmatrix} E[(X_1-\mu_1)(X_1-\mu_1)]) & E[(X_1-\mu_1)(X_2-\mu_2)]) & \cdots & E[(X_1-\mu_1)(X_n-\mu_n)]) \\ E[(X_2-\mu_2)(X_1-\mu_1)]) & E[(X_2-\mu_2)(X_2-\mu_2)]) & \cdots & E[(X_2-\mu_2)(X_n-\mu_n)]) \\ \vdots & \vdots & \ddots & \vdots \\ E[(X_n-\mu_n)(X_1-\mu_1)]) & E[(X_n-\mu_n)(X_2-\mu_2)]) & \cdots & E[(X_n-\mu_n)(X_n-\mu_n)]) \end{bmatrix} ∑=⎣⎢⎢⎢⎡​E[(X1​−μ1​)(X1​−μ1​)])E[(X2​−μ2​)(X1​−μ1​)])⋮E[(Xn​−μn​)(X1​−μ1​)])​E[(X1​−μ1​)(X2​−μ2​)])E[(X2​−μ2​)(X2​−μ2​)])⋮E[(Xn​−μn​)(X2​−μ2​)])​⋯⋯⋱⋯​E[(X1​−μ1​)(Xn​−μn​)])E[(X2​−μ2​)(Xn​−μn​)])⋮E[(Xn​−μn​)(Xn​−μn​)])​⎦⎥⎥⎥⎤​ 矩阵中的第 ( i , j ) (i,j) (i,j) 个元素是 X i X_i Xi​ 与 X j X_j Xj​ 的协方差。