【应用多元统计分析】CH3 多元正态分布

您所在的位置：网站首页 › 求多元正态分布及概率密度 › 【应用多元统计分析】CH3 多元正态分布

【应用多元统计分析】CH3 多元正态分布

2023-10-14 11:08| 来源: 网络整理| 查看: 265

一、多元正态分布的定义

1.定义

2.二元正态分布

二、多元正态分布的性质

【property1*】

【property2】

【property3】

【property4】

【property5】

【property6】

【property7】

【property8*】

【property9*】

【property10*】

【property11】

三、极大似然估计及估计量的性质

前言

1.极大似然估计

（1）极大似然估计介绍

（2）均值和协差阵的极大似然估计

（3）相关系数的极大似然估计

2.估计量的性质

（1）无偏性

（2）有效性

（3）一致性

（4）充分性

（5）MLE的不变性

四、复相关系数和偏相关系数

1.复相关系数

（1）前言

（2）定义

（3）复相关系数的MLE

2.偏相关系数

（1）前言

（2）引例

（3）定义

（4）一阶偏相关系数

（5）偏相关系数一般递推公式

（6）偏相关系数的MLE

（7）偏协方差矩阵的导出

五、均值和(n-1)S的抽样分布

1.均值的抽样分布

（1）正态总体

（2）非正态总体（多元中心极限定理）

2.(n-1)S的抽样分布

（1）矩阵的拉直

（2）威沙特分布的定义

（3）威沙特分布的性质

（4） (n-1)S的抽样分布

一、多元正态分布的定义 1.定义

一元正态分布 $\small N(\mu ,\sigma ^2)$ 的概率密度函数为:

$\small f(x)=\frac{1}{\sqrt{2*\pi }\sigma }e^{-\frac{(x-\mu )^2}{2*\sigma ^2}}=(2*\pi )^{-\frac{1}{2}}(\sigma ^2)^{-\frac{1}{2}}exp[-\frac{1}{2}(x-\mu )(\sigma ^2)^{-1}(x-\mu )],-\inftyx+\infty$

若随机向量 $\small x=(x_{1},x_{2},\cdots ,x_{p})^{'}$ 的概率密度函数为:

$\small f(x)=(2*\pi)^{-\frac{p}{2}}{\left | \Sigma \right |}^{-\frac{1}{2}}exp[-\frac{1}{2}(x-\mu )^{'}\Sigma ^{-1}(x-\mu )]$

则称 $\small x$ 服从 $\small p$ 元正态分布，记作 $\small x\sim N_{p}(\mu ,\Sigma )$ ，其中，参数 $\small \mu ,\Sigma$ 分别为 $\small x$ 的均值和协差阵。

2.二元正态分布

设 $\small x\sim N_{2}(\mu,\Sigma )$ ，这里 $\small x=\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix},\mu=\begin{pmatrix} \mu_{1}\\ \mu_{2} \end{pmatrix},\Sigma =\begin{pmatrix} \sigma _{1}^{2} & \sigma _{1}\sigma _{2}\rho \\ \sigma _{1}\sigma _{2}\rho &\sigma _{2}^{2} \end{pmatrix}$ 。易见， $\small \rho$ 是 $\small x_{1},x_{2}$ 的相关系数。当 $\small \left | \rho \right |1$ 时，可得 $\small x$ 的概率密度函数为: $\small f(x_{1},x_{2})=\frac{1}{2\pi\sigma _{1}\sigma _{2}\sqrt{1-\rho ^2}}exp\left \{ -\frac{1}{2(1-\rho ^2)}[(\frac{x_{1}-\mu_{1}}{\sigma _{1}})^2-2\rho (\frac{x_{1}-\mu_{1}}{\sigma _{1}})(\frac{x_{2}-\mu_{2}}{\sigma _{2}})+(\frac{x_{2}-\mu_{2}}{\sigma _{2}})^2] \right \}$

【注】二元正态分布等高线（见课本）

二、多元正态分布的性质【property1*】

多元正态分布的特征函数为 $\small \varphi_{x}=exp(it^{'}\mu-\frac{1}{2}t^{'}\Sigma t)$ ，其中 $\small \Sigma =AA^{'}$ 。

【property2】

设 $\small x$ 是一个 $\small p$ 维随机向量，则 $\small x$ 服从多元正态分布，当且仅当它的任何线性函数 $\small a^{'}x$ （ $\small a$ 为 $\small p$ 维常数向量）均服从一元正态分布

【property3】

设 $\small x\sim N_{p}(\mu,\Sigma),y=Cx+b$ ，其中 $\small C$ 为 $\small r*p$ 常数矩阵，则 $\small y\sim N_{r}(C\mu+b,C\Sigma C^{'})$

【注】该性质表明，（多元）正态变量的任何线性变换仍为（多元）正态变量

【eg】设 $\small x\sim N_{p}(\mu,\Sigma),a$ 为 $\small p$ 维常数向量，则有上述性质2或3可知， $\small a^{'}x\sim N(a^{'}\mu,a^{'}\Sigma a)$

【eg】设 $\small x\sim N_{2}(\mu,\Sigma),$ 其中 $\small x=\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix},\mu =\begin{pmatrix} \mu_{1}\\ \mu_{2} \end{pmatrix},\Sigma=\begin{pmatrix} \sigma _{1}^2 &\rho \sigma _{1} \sigma _{2} \\ \rho \sigma _{1} \sigma _{2} & \sigma _{2}^2 \end{pmatrix}$ ，则：

$\small x_{1}-x_{2}\sim N(\mu_{1}-\mu_{2},\sigma _{1}^2+\sigma _{2}^2-2\rho \sigma _{1}\sigma _{2})$

【property4】

设 $\small x\sim N_{p}(\mu,\Sigma)$ ，则 $\small x$ 的任何子向量也服从（多元）正态分布，其均值为 $\small \mu$ 的相应子向量，协方差矩阵为 $\small \Sigma$ 的相应子矩阵

【注1】该性质表明多元正态分布的任何边缘分布仍为（多元）正态分布

【注2】随机向量的任何边缘分布皆为（多元）正态分布推不出该随机向量服从多元正态分布（反例：习题2.3）

【注3】正态变量的线性组合未必就是正态变量。

$\small x_{1},x_{2},\cdots ,x_{n}$ 均为一元正态变量 $\small \Leftarrow x_{1},x_{2},\cdots ,x_{n}$ 的联合分布为多元正态分布 $\small \Leftrightarrow x_{1},x_{2},\cdots ,x_{n}$ 的一切线性组合是一元正态变量

【例】设 $\small x\sim N_{4}(\mu,\Sigma)$ ，这里 $\small x=\begin{pmatrix} x_{1}\\ x_{2}\\ x_{3}\\ x_{4} \end{pmatrix},\mu=\begin{pmatrix} \mu_{1}\\ \mu_{2}\\ \mu_{3}\\ \mu_{4} \end{pmatrix},\Sigma=\begin{pmatrix} \sigma_{11} & \sigma_{12} & \sigma_{13} &\sigma_{14} \\ \sigma_{21} & \sigma_{22} & \sigma_{23} &\sigma_{24} \\ \sigma_{31}&\sigma_{32} &\sigma_{33} &\sigma_{34} \\ \sigma_{41} &\sigma_{42} & \sigma_{43} &\sigma_{44} \end{pmatrix}$ ，则：

$\small x_{i}\sim N(\mu_{i},\sigma_{ii}),i=1,2,3,4$ $\small \begin{pmatrix} x_{4}\\ x_{1}\\ x_{3} \end{pmatrix}\sim N_{3}\left ( \begin{pmatrix} \mu_{4}\\ \mu_{1}\\ \mu_{3} \end{pmatrix} ,\begin{pmatrix} \sigma_{44} & \sigma_{41} & \sigma_{43} \\ \sigma_{14} & \sigma_{11} &\sigma_{13} \\ \sigma_{34} & \sigma_{31} & \sigma_{33} \end{pmatrix}\right )$ $\small \begin{pmatrix} x_{1}\\ x_{4} \end{pmatrix}\sim N_{2}\left ( \begin{pmatrix} \mu_{1}\\ \mu_{4} \end{pmatrix} ,\begin{pmatrix} \sigma_{11} &\sigma_{14} \\ \sigma_{41} & \sigma_{44} \end{pmatrix}\right )$ 【property5】

设 $\small x_{1},x_{2},\cdots ,x_{n}$ 相互独立，且 $\small x_{i}\sim N_{p}(\mu_{i},\Sigma_{i}),i=1,2,\cdots,n$ ，则对任意 $\small n$ 个常数 $\small k_{1},k_{2},\cdots,k_{n}$ ，有 $\small \sum_{i=1}^{n}k_{i}x_{i}\sim N_{p}\left ( \sum_{i=1}^{n}k_{i}\mu_{i},\sum_{i=1}^{n}k_{i}^2 \Sigma_{i} \right )$

【注】此性质表明，独立的多元正态变量（维数相同）的任意线性组合仍为多元正态变量

【property6】

设 $\small x\sim N_{p}(\mu,\Sigma)$ ，对 $\small x,\mu,\Sigma (0)$ 作如下的剖分： $\small x=\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix}_{p-k}^k ,\mu=\begin{pmatrix} \mu_{1}\\ \mu_{2} \end{pmatrix}_{p-k}^k,\Sigma=\begin{pmatrix} \Sigma_{11} &\Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix}_{p-k}^{k}$ ，其中 $\small \Sigma_{11}$ 为 $\small p*p$ 矩阵，则子向量 $\small x_{1},x_{2}$ 相互独立，当且仅当 $\small \Sigma_{12}=0$

【注】可作一般化推广，并对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的

【eg3.2.5】设 $x\sim N_{3}(\mu,\Sigma)$ ，其中 $\Sigma=\begin{pmatrix} 3 &0 &0 \\ 0 & 5 & -1\\ 0&-1 &1 \end{pmatrix}$ ，则 $x_{2},x_{3}$ 不独立， $x_{1},(x_{2},x_{3})$ 独立

【property7】

设 $x\sim N_{p}(\mu,\Sigma),\Sigma0$ ，则 $(x-\mu)^{'}\Sigma^{-1}(x-\mu)\sim \chi ^{2}(p)$

【property8*】

设 $x\sim N_{n}(0,I),y=Ax+a,z=Bx+b$ ，其中 $A:p*n,a:p*1,B:q*n,b:q*1,rank(A)=p,rank(B)=q$ ，则 $y,z$ 相互独立，当且仅当 $A\Sigma B^{'}=0$ 。

【property9*】

设 $x\sim N_{n}(\mu,\Sigma),y=Ax+a,z=Bx+b$ ，其中 $\Sigma0,A:p*n,a:p*1,B:q*n,b:q*1,rank(A)=p,rank(B)=q$ ，则 $y,z$ 相互独立，当且仅当 $A\Sigma B^{'}=0$ 。

【property10*】

设 $x\sim N_{p}(\mu,\Sigma),\Sigma0$ ，将其作与性质（6）同样的剖分，则 $x_{1}-\Sigma_{12}\Sigma_{22}^{-1}x_{2},x_{2}$ 相互独立， $x_{1},x_{2}-\Sigma_{21}\Sigma_{11}^{-1}x_{1}$ 也相互独立

【property11】

设 $\small x\sim N_{p}(\mu,\Sigma)$ ，对 $\small x,\mu,\Sigma (0)$ 作如下的剖分： $\small x=\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix}_{p-k}^k ,\mu=\begin{pmatrix} \mu_{1}\\ \mu_{2} \end{pmatrix}_{p-k}^k,\Sigma=\begin{pmatrix} \Sigma_{11} &\Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix}_{p-k}^{k}$ ，其中 $\small \Sigma_{11}$ 为 $\small p*p$ 矩阵，则给定 $x_{2}$ 时 $x_{1}$ 的条件分布为 $N_{k}(\mu_{1.2},\Sigma_{11.2})$ ，其中 $\mu_{1.2}=\mu_{1}+\Sigma_{12}\Sigma_{22}^{-1}(x_{2}-\mu_{2}),\Sigma_{11.2}=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$ 。

【注1】 $\mu_{1.2},\Sigma_{11.2}$ 分别成为条件数学期望，条件协方差矩阵。 $\Sigma_{11.2}$ 通常称为偏协方差矩阵

【注2】这一性质可作一般化推广，并对于多元正态变量，其子向量的条件分布仍是（多元）正态

【eg3.2.8】设 $x\sim N_{3}(\mu,\Sigma)$ ，其中 $\mu=\begin{pmatrix} 1\\ 0\\ -2 \end{pmatrix},\Sigma=\begin{pmatrix} 16 &-4 & 2\\ -4 & 4&-1 \\ 2& -1& 4 \end{pmatrix}$ ，试给定 $x_{1}+2x_{3}$ 时 $\begin{pmatrix} x_{2}-x_{3}\\ x_{1} \end{pmatrix}$ 的条件分布。

$y_{1}=\begin{pmatrix} x_{2}-x_{3}\\ x_{1} \end{pmatrix},y_{2}=x_{1}+2x_{2},\begin{pmatrix} y_{1}\\ y_{2} \end{pmatrix}=\begin{pmatrix} x_{2}-x_{3}\\ x_{1}\\ x_{1}+2x_{2} \end{pmatrix}=\begin{pmatrix} 0 &1 & -1\\ 1& 0& 0\\ 1& 0&2 \end{pmatrix}\begin{pmatrix} x_{1}\\ x_{2}\\ x_{3} \end{pmatrix}\sim N_{3}(*,*)$

$E\begin{pmatrix} y_{1}\\ y_{2} \end{pmatrix}=\begin{pmatrix} 0 & 1&-1 \\ 1& 0& 0\\ 1&0 & 2 \end{pmatrix}\begin{pmatrix} 1\\ 0\\ -2 \end{pmatrix}=\begin{pmatrix} 2\\ 1\\ -3 \end{pmatrix},V\begin{pmatrix} y_{1}\\ y_{2} \end{pmatrix}=\begin{pmatrix} 0 &1 &-1 \\ 1&0 &0 \\ 1 &0 & 2 \end{pmatrix}\begin{pmatrix} 16 &-4 & 2\\ -4 & 4 & -1\\ 2& -1 & 4 \end{pmatrix}\begin{pmatrix} 0 & 1 & 1\\ 1 & 0 &0 \\ -1 & 0 & 2 \end{pmatrix}=\begin{pmatrix} 10 & -6 &-16 \\ -6 &16 &20 \\ -16& 20 & 40 \end{pmatrix}$

根据【property11】得出 ${\color{Blue} \begin{pmatrix} x_{2}-x_{3}\\ x_{1} \end{pmatrix}|x_{1}+2x_{2}\sim N_{2}[\begin{pmatrix} -\frac{2}{5}x_{1}-\frac{4}{5}x_{3}+\frac{4}{5}\\ \frac{1}{2}x_{1}+x_{3}+\frac{5}{2} \end{pmatrix},\begin{pmatrix} \frac{18}{5} &2 \\ 2 & 6 \end{pmatrix}]}$

三、极大似然估计及估计量的性质前言简单随机样本（简称样本）：满足 $x_{1},x_{2},\cdots ,x_{n}$ 独立，且与总体分布相同。设 $x\sim N_{p}(\mu,\Sigma),\Sigma0,x_{1},x_{2},\cdots ,x_{n}$ 是从中抽取的一个样本数据矩阵或观测值矩阵： $X=\begin{pmatrix} x_{1}^{'}\\ x_{2}^{'}\\ \vdots \\ x_{n}^{'} \end{pmatrix}=\begin{pmatrix} x_{11} &x_{12} & \cdots & x_{1p}\\ x_{21} & x_{22}&\cdots & x_{2p}\\ \vdots & \vdots & &\vdots \\ x_{n1}& x_{n2} &\cdots & x_{np} \end{pmatrix}$ 1.极大似然估计（1）极大似然估计介绍似然函数：是样本联合概率密度 $f(x_{1},x_{2},\cdots,x_{n})$ 的任意正常数倍，记为 $L(\theta ;x_{1},\cdots,x_{n})$ ，将其看作参数 $\theta$ 的函数，简记为 $L(\theta )$ 极大似然估计：如果统计量 $\hat{\theta }$ 满足 $L(\hat{\theta })=max_{\theta }L(\theta )$ ，则 $\hat{\theta }$ 称作 $\theta$ 的极大似然估计（MLE）MLE思想：当样本 $x_{1},x_{2},\cdots,x_{n}$ 给定后，可考虑对不同的 $\theta$ ，联合概率密度如何变，它反映了对样本的解释能力，这便是似然。MLE就是要寻找一个 $\hat{\theta }$ 使得这个样本出现的概率最大（2）均值和协差阵的极大似然估计一元正态情形： $\hat{\mu }=\bar{x},\hat{\sigma }^2=\frac{1}{n}\sum_{i=1}^{n}(x_{i}-\bar{x})^2$ 多元正态情形： $\hat{\mu }=\bar{x},\hat{\Sigma }=\frac{1}{n}A=\frac{n-1}{n}S$ ，其中 $\bar{x}$ 称为样本均值向量， $A=\sum_{i=1}^{n}(x_{i}-\bar{x})(x_{i}-\bar{x})^{'}$ 称为样本离差矩阵或平方和及叉积和将矩阵， $S=\frac{1}{n-1}A$ 称为样本协方差矩阵（3）相关系数的极大似然估计

$r_{ij}=\frac{\hat{\sigma _{ij}}}{\sqrt{\hat{\sigma _{ii}}}\sqrt{\hat{\sigma _{jj}}}}=\frac{s_{ij}}{\sqrt{s_{ii}}\sqrt{s_{jj}}}=\frac{\sum_{k=1}^{n}(x_{ki}-\bar{x_{i}})(x_{kj}-\bar{x_{j}})}{\sqrt{\sum_{k=1}^{n}(x_{ki}-\bar{x_{i}})^2}\sqrt{\sum_{k=1}^{n}(x_{kj}-\bar{x_{j}})^2}}$

其中 $\hat{\Sigma}=(\hat{\sigma _{ij}}),\hat{S}=(s _{ij}),\bar{x}=(\bar{x_{1}},\bar{x_{2}},\cdots,\bar{x_{p}})^{'}$ 。称 $r_{ij}$ 为样本相关系数， $\hat{R}=(r_{ij})$ 为样本相关矩阵。

2.估计量的性质（1）无偏性【定义】如果 $E(\hat{\theta })=\theta$ ，则称估计量 $\hat{\theta }$ 是被估参数 $\theta$ 的一个无偏估计，否则就成为有偏的【注1】 $E(\bar{x})=\mu$ 【注2】 $E(\hat{\Sigma})=\frac{n-1}{n}\Sigma,\hat{\Sigma}$ 是 $\Sigma$ 的有偏估计【注3】 $E(S)=\Sigma$

${\color{Blue} proof:}$

（2）有效性【定义】设 $\hat{\theta }$ 是 $\theta$ 的一个无偏估计，若对 $\theta$ 的任一无偏估计 $\tilde{\theta }$ ，有 $V(\hat{\theta })\leqslant V(\tilde{\theta }),\theta \epsilon \Theta$ ，即 $V(\tilde{\theta })-V(\hat{\theta })$ 为非负定矩阵，则称 $\hat{\theta }$ 为 $\theta$ 的一致最优无偏估计【注】可以证明，对于多元正态总体， $\bar{x},S$ 分别是 $\mu,\Sigma$ 的一致最优无偏估计（3）一致性【定义】如果未知参数 $\theta$ （可以是一个向量或矩阵）的估计量 $\hat{\theta }_{n}$ 随着样本量 $n$ 的不断增大，而无限地逼近于真值 $\theta$ ，则称 $\hat{\theta }_{n}$ 为 $\theta$ 的一致估计（相合估计）【注1】估计量的一致性是在大样本情形下提出的一种要求，而对于小样本，他不能作为评价估计量好坏的准测【注2】可以证明， $\bar{x},\hat{\Sigma }(S)$ 分别是 $\mu,\Sigma$ 的一致估计（无需总体正态性的假定）（4）充分性【定义】如果一个统计量能把含在样本中的有关总体（或有关未知参数）的信息一点都不损失地充分提取出来，则这种统计量就称为充分统计量【注1】可以证明，对于总体 $N_{p}(\mu,\Sigma)$ ，当 $\Sigma$ 已知时， $\bar{x}$ 是 $\mu$ 的充分统计量；当 $\mu$ 已知时， $\tilde{\Sigma }=\frac{1}{n}\sum_{i=1}^{n}(x_{i}-\mu)(x_{i}-\mu)^{'}$ 是 $\Sigma$ 充分统计量【注2】用来作为估计量的充分统计量称为充分估计量。 $A,\hat{\Sigma },S$ 这三者之间只相差一个常数倍，所含的信息完全相同，故当 $\mu,\Sigma$ 均未知时， $(\bar{x},\hat{\Sigma }),(\bar{x},S)$ 也都是 $(\mu,\Sigma )$ 的充分统计量（5）MLE的不变性【定义】如果 $\hat{\theta }$ 是 $\theta$ 的MLE，那么对于 $\theta$ 的函数 $g(\theta )$ ，其MLE是 $g(\hat{\theta })$ 【注】相关系数 $\rho _{ij}=\frac{\sigma _{ij}}{\sqrt{\sigma _{ii}}\sqrt{\sigma _{jj}}}$ ，因此其MLE为 $r_{ij}=\frac{\hat{\sigma _{ij}}}{\sqrt{\hat{\sigma _{ii}}}\sqrt{\hat{\sigma _{jj}}}}$ 四、复相关系数和偏相关系数 1.复相关系数（1）前言（简单）相关系数度量了一个随机变量 $x$ 与另一个随机变量 $y$ 之间线性关系的强弱复相关系数度量了一个随机基变量 $y$ 与一组随机变量 $x_{1},x_{2},\cdots,x_{p}$ 之间线性关系的强弱（2）定义

设 $E\begin{pmatrix} y\\ x \end{pmatrix}=\begin{pmatrix} \mu_{y}\\ \mu_{x} \end{pmatrix},V\begin{pmatrix} y\\ x \end{pmatrix}=\begin{pmatrix} \sigma _{yy} & \sigma _{xy}^{'}\\ \sigma _{xy}& \sigma _{xx} \end{pmatrix},\begin{pmatrix} y\\ x \end{pmatrix}$ 的相关矩阵 $=\begin{pmatrix} 1 & \rho _{xy}^{'}\\ \rho _{xy}& R_{xx} \end{pmatrix}$ 。则 $y$ 和 $x$ 的线性函数 $l^{'}x$ ( $l$ 为任一 $p$ 维非零常数向量)间的最大相关系数称为 $y$ 和 $x$ 间的复（或多重）相关系数，记作 $\rho _{y.x}(\rho _{y.1,2,\cdots, p})$ ，它度量了一个变量 $y$ 和一组变量 $x_{1},x_{2},\cdots,x_{p}$ 间的相关程度。

$y$ 和 $l^{'}x$ 的相关系数的平方

$\rho ^2(y,l^{'}x)=\frac{Cov^2(y,l^{'}x)}{V(y)V(l^{'}x)}=\frac{(\sigma _{xy}^{'}l)^2}{\sigma _{yy}*l^{'}\Sigma_{xx}l}\leqslant \frac{(\sigma _{xy}^{'}\Sigma_{xx}^{-1}\sigma _{xy})(l^{'}\Sigma_{xx}l)}{\sigma _{yy}*l^{'}\Sigma_{xx}l}=\frac{(\sigma _{xy}^{'}\Sigma_{xx}^{-1}\sigma _{xy})}{\sigma _{yy}}$

上述不等式由柯西不等式得到，若取 $l=\Sigma_{xx}^{-1}\sigma _{xy}$ ，则上述等号成立。所以， $y,x$ 的复相关系数为：

$D=diag(\sqrt{\sigma _{11}},\sqrt{\sigma _{22}},\cdots ,\sqrt{\sigma _{pp}}),\sigma _{ii}=v(x_{i}),\Sigma_{xx}=DR_{xx}D,\Sigma_{xx}^{-1}=D^{-1}R_{xx}^{-1}D^{-1}$

$\frac{\sigma _{xy}^{'}\Sigma_{xx}^{-1}\sigma _{xy}}{\sigma _{yy}}=\frac{\sigma _{xy}^{'}D^{-1}}{\sqrt{\sigma _{yy}}}R_{xx}^{-1}\frac{D^{-1}\sigma _{xy}}{\sqrt{\sigma _{yy}}}$

$\frac{\sigma _{xy}^{'}D^{-1}}{\sqrt{\sigma _{yy}}}=\begin{pmatrix} cov(x_{1},y) & cov(x_{1},y) & \cdots & cov(x_{p},y) \end{pmatrix}\begin{pmatrix} \frac{1}{\sqrt{\sigma _{11}}\sqrt{\sigma _{yy}}} & & & \\ & \frac{1}{\sqrt{\sigma _{22}}\sqrt{\sigma _{yy}}} & & \\ & & & \ddots \\ & & & \frac{1}{\sqrt{\sigma _{pp}}\sqrt{\sigma _{yy}}} \end{pmatrix}=\begin{pmatrix} \frac{cov(x_{1},y) }{\sqrt{\sigma _{11}}\sqrt{\sigma _{yy}}} & \frac{cov(x_{2},y) }{\sqrt{\sigma _{22}}\sqrt{\sigma _{yy}}}&\cdots & \frac{cov(x_{p},y) }{\sqrt{\sigma _{pp}}\sqrt{\sigma _{yy}}} \end{pmatrix}=\begin{pmatrix} \rho (x_{1},y) &\rho (x_{2},y) &\cdots & \rho (x_{p},y) \end{pmatrix}=\rho _{xy}^{'}$

因而， $\rho _{y.x}=max_{l\neq 0}\rho (y,l^{'}x)=\rho (y,\sigma _{xy}^{'}\Sigma_{xx}^{-1}x)=\sqrt{\frac{\sigma _{xy}^{'}\Sigma_{xx}^{-1}\sigma _{xy}}{\sigma _{yy}}}=\sqrt{\rho _{xy}^{'}R_{xx}^{-1}\rho _{xy}}$

【注1】 $p=1$ 时，复相关系数退化为简单相关系数的绝对值

【注2】 $y,x$ 的负相关系数为0，当且仅当 $y,x$ 不相关（即 $\sigma _{xy}=0(\rho _{xy}=0)$ ）

【注3】复相关系数通过 $\rho _{xy},R_{xx}$ 求得，而其中的相关系数对变量单位的改变具有不变性，故复相关系数对变量单位的改变也具有不变性

【注4】若 $x_{1},x_{2},\cdots ,x_{p}$ 互不相关，即 $R_{xx}=I$ ，于是有

$\rho ^2_{y.x}=\rho _{xy}^{'}R_{xx}^{-1}\rho _{xy}=\rho ^2(y,x_{1})+\cdots +\rho ^2(y,x_{p})$

即此时复相关系数的平方等于 $y,x$ 各分量相关系数的平方和

【eg3.4.1】试证随机变量 $x_{1},x_{2},\cdots ,x_{p}$ 的任一线性函数 $F=a_{1}x_{1}+a_{2}x_{2}+\cdots +a_{p}x_{p}$ 与 $x_{1},x_{2},\cdots ,x_{p}$ 的复相关系数为1

${\color{Blue} proof:}$

${\color{Blue} \because 1\geqslant \rho _{F.1,2,\cdots ,p}=max_{l\neq 0}\rho (F,\sum_{i=1}^{p}l_{i}x_{i})\geqslant \rho (F,\sum_{i=1}^{p}a_{i}x_{i})=1\therefore \rho _{F.1,2,\cdots ,p}=1}$

（3）复相关系数的MLE

设样本 $V\begin{pmatrix} y\\ x \end{pmatrix}=\begin{pmatrix} s_{yy} &s_{xy}^{'} \\ s_{xy}& S_{xx} \end{pmatrix},\begin{pmatrix} y\\ x \end{pmatrix}$ 的样本相关矩阵 $=\begin{pmatrix} 1 &r_{xy}^{'} \\ r_{xy}& \hat{R}_{xx} \end{pmatrix}$ ，这里 $np$ 则在多元正态的假定下，复相关系数 $\rho _{y.x}$ 的MLE为：

$r_{y.x}=\sqrt{\frac{s_{xy}^{'}S_{xx}^{'}s_{xy}}{s_{yy}}}=\sqrt{r_{xy}^{'}\hat{R}_{xx}^{-1}r_{xy}}$

称为样本复相关系数。

2.偏相关系数（1）前言

两个变量之间的相关性，除了受这两个变量彼此间的影响外，常常还受其他一系列变量的影响。由于这个原因，相关系数有时也称为总（或毛，gross）相关系数，其意思是包含了由一切影响带来的相关性。

相关系数有时亦称为简单相关系数或皮尔逊（ $Pearson$ ）相关系数或零阶偏相关系数

（2）引例

$x_{1}$ ——家庭的饮食支出， $x_{2}$ ——家庭的衣着支出， $x_{3}$ ——家庭的收入

$x_{1},x_{2}$ 之间存在着较强的正相关性 $x_{3}$ 分别与 $x_{1},x_{2}$ 的强正相关性导致了 $x_{1}$ 和 $x_{2}$ 的较强正相关性如果我们能用某种方式把 $x_{3}$ 的影响消除掉，或者说控制了 $x_{3}$ （即 $x_{3}$ 保持不变），则 $x_{1}$ 和 $x_{2}$ 之间（反应净关系）的相关性可能就很不一样了，很有可能会显示负相关性。【注】为了更好地理解本例，我们可设想某地区的这样两个样本：样本1由贫富悬殊的100户家庭组成，其 $x_{1}$ 和 $x_{2}$ 之间一般会有非常强的正相关性；样本2由 $x_{3}$ 基本相同的100户家庭组成， $x_{1}$ 和 $x_{2}$ 间的相关性一般会比较小或者为负。可以想象，在样本1和样本2中，消除了 $x_{3}$ 影响后的 $x_{1}$ 和 $x_{2}$ 之间的相关性一般会比较接近，且样本2中的 $x_{1}$ 和 $x_{2}$ 间的相关性往往不太受 $x_{3}$ 的影响（3）定义

将 $x,\mu,\Sigma(0),S$ 剖分如下：

称 $\Sigma_{11.2}=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$ 为给定 $x_{2}$ 时 $x_{1}$ 的偏协方差矩阵。记 $\Sigma_{11.2}=(\sigma _{ij.k+1,\cdots ,p})$ ，称 $\sigma _{ij.k+1,\cdots ,p}$ 为偏协方差，它是剔除了 $x_{2}=(x_{k+1},\cdots,x_{p})^{'}$ 的（线性）影响之后， $x_{i},x_{j}$ 之间的协方差。

给定 $x_{2}$ 时 $x_{i},x_{j}$ 的偏相关系数定义为

$\rho _{ij.k+1,\cdots,p}=\frac{\sigma _{ij.k+1,\cdots,p}}{\sqrt{\sigma _{ii.k+1,\cdots,p}}\sqrt{\sigma _{jj.k+1,\cdots,p}}},1\leqslant i,j\leqslant k,\Sigma_{11.2}=(\sigma _{ij.k+1,\cdots,p})$

【注1】 $\rho _{ij.k+1,\cdots,p}$ 度量了剔除 $x_{k+1},\cdots,x_{p}$ 的（线性）影响后， $x_{i}$ 和 $x_{j}$ 间相关关系的强弱【注2】对于多元正态变量，由于 $\Sigma_{11.2}$ 也是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而 $\rho _{ij.k+1,\cdots,p}$ 同时也度量了在 $x_{k+1},\cdots,x_{p}$ 给定的条件下 $x_{i}$ 和 $x_{j}$ 间相关关系的强弱【注3】当 $x_{1}$ 和 $x_{2}$ 不相关（即 $\Sigma_{12}=0$ 时）， $\Sigma_{11.2}=\Sigma_{11}$ ，从而 $\rho _{ij.k+1,\cdots,p}=\rho _{ij}$ （4）一阶偏相关系数

可直接由相关系数算得，设 $x_{1},x_{2},x_{3}$ 是三个随机变量，则有：

$\rho _{12.3}=\frac{\rho _{12}-\rho _{13}\rho _{23}}{\sqrt{1-\rho _{13}^{2}}\sqrt{1-\rho _{23}^{2}}}$

$\rho _{13.2}=\frac{\rho _{13}-\rho _{12}\rho _{23}}{\sqrt{1-\rho _{12}^{2}}\sqrt{1-\rho _{23}^{2}}}$

$\rho _{23.1}=\frac{\rho _{23}-\rho _{12}\rho _{13}}{\sqrt{1-\rho _{12}^{2}}\sqrt{1-\rho _{13}^{2}}}$

【注1】 $\rho _{12}=0$ 并不意味着 $\rho _{12.3}=0$ ，反之亦然

【注2】 $\rho _{12},\rho _{12.3}$ 未必同号，且大小无必然规律

（5）偏相关系数一般递推公式

$\rho _{ij.k+1,\cdots,p}=\frac{ \rho _{ij.k+2,\cdots,p}-\rho _{i.k+1,k+2,\cdots,p}\rho _{j.k+1,k+2,\cdots,p}}{\sqrt{1-\rho _{i.k+1,k+2,\cdots,p}^2}\sqrt{1-\rho _{j.k+1,k+2,\cdots,p}^2}}$

（6）偏相关系数的MLE

在多元正态性的假设下， $\rho _{ij.k+1,\cdots,p}$ 的MLE为：

$r_{ij.k+1,\cdots,p}=\frac{s_{ij.k+1,\cdots,p}}{\sqrt{s_{ii.k+1,\cdots,p}s_{jj.k+1,\cdots,p}}},1\leqslant i,j\leqslant k$

其中， $S_{11.2}=S_{11}-S_{12}S_{22}^{-1}S_{21}=(s_{ij.k+1,\cdots,p})$ ，称 $r_{ij.k+1,\cdots,p}$ 为样本偏相关系数。

（7）偏协方差矩阵的导出

五、均值和(n-1)S的抽样分布 1.均值的抽样分布（1）正态总体

设 $x\sim N_{p}(\mu,\Sigma),\Sigma0,x_{1},x_{2},\cdots,x_{n}$ 是从总体 $x$ 中抽取的一个样本，则 $\bar{x}\sim N_{p}(\mu,\frac{1}{n}\Sigma)$

（2）非正态总体（多元中心极限定理）

设 $x_{1},x_{2},\cdots,x_{n}$ 是来自总体 $x$ 的一个样本， $\mu,\Sigma$ 存在，则当 $n$ 很大且 $n$ 相对于 $p$ 也很大时， $\sqrt{n}(\bar{x}-\mu)$ 近似服从 $N_{p}(0,\Sigma)$ 。

2.(n-1)S的抽样分布（1）矩阵的拉直

设随机矩阵 $X=(x_{1},x_{2},\cdots,x_{q})=(x_{ij}):p*q$ ，将 $X$ 的列向量一个接一个组成一个长向量，记作 $vec(X)$ ，即 $vec(X)=\begin{pmatrix} x_{1}\\ x_{2}\\ \vdots \\ x_{q} \end{pmatrix}$ ，称“vec”为拉直运算。当 $X$ 是 $p$ 阶对称矩阵时，因 $x_{ij}=x_{ji}$ ，故只需取其下三角部分组成一个缩减了的常向量，记作 $vech(X)$ ，即

$vech(X)=(x_{11},x_{21},\cdots,x_{p1},x_{22},x_{32},\cdots,x_{p2},\cdots,x_{p-1,p-1},x_{p,p-1},x_{pp})^{'}$

随机矩阵X的分布是指 $vec(X)$ 或（当 $X^{'}=X$ 时） $vech(X)$ 的分布，拉直运算将矩阵分布问题转化为了向量分布问题。

（2）威沙特分布的定义

设随机向量 $x_{1},x_{2},\cdots,x_{n}$ 独立同分布于 $N_{p}(0,\Sigma),\Sigma0,n\geqslant p$ ，则 $p$ 阶矩阵 $W=\sum_{i=1}^{n}x_{i}x_{i}^{'}$ 的分布称为自由度为 $n$ 的（ $p$ 阶）威沙特 $Wishart$ 分布，记作 $W_{p}(n,\Sigma)$ 。

当 $p=1,\Sigma=\sigma^2=1$ 时，显然有 $W=\sum_{i=1}^{n}x_{i}^2\sim\chi ^2(n)$ ，即有 $W_{1}(n,1)=\chi ^2(n)$ 。

因此，威沙特 $Wishart$ 分布是卡方分布在多元场合下的一种推广。

（3）威沙特分布的性质设 $W_{i}\sim W_{p}(n_{i},\Sigma),i=1,2,\cdots,k$ 且相互独立，则 $\sum_{i=1}^{k}W_{i}\sim W_{p}(\sum_{i=1}^{k}n_{i},\Sigma)$ 设 $W\sim W_{p}(n,\Sigma)$ ， $C$ 为 $q*p$ 常数矩阵，则 $CWC^{'}\sim W_{q}(n,C\Sigma C^{'})$ （4） (n-1)S的抽样分布

设 $x_{1},x_{2},\cdots,x_{n}$ 是取自 $N_{p}(\mu,\Sigma),\Sigma0$ 的一个样本， $np$ ，则可以证明 $\bar{x}$ 和 $S$ 相互独立，且有 $(n-1)S\sim W_{p}(n-1,\Sigma)$ 。

【本文地址】

【应用多元统计分析】CH3 多元正态分布

【应用多元统计分析】CH3 多元正态分布

今日新闻

推荐新闻