当多元线性回归模型在满足线性模型古典假设的前提下，最小二乘估计结果具有无偏性、有效性等性质，在此基础上进一步对估计所得的模型进行经济意义检验及统计检验。

对于如下的k变量线性回归模型：

\[\begin{align} Y_i&=\beta_1+\beta_2X_{2i}+\beta_3X_{3i}+\cdots+\beta_kX_{ki}+u_i && \text{(PRM)} \tag{4.1} \end{align}\]

如果样本数为n，则可以将上述PRM模型表达为矩阵形式：

\[\begin{equation} \begin{bmatrix} Y_1 \\ Y_2 \\ \cdots \\ Y_n \\ \end{bmatrix} = \begin{bmatrix} 1 & X_{21} & X_{31} & \cdots & X_{k1} \\ 1 & X_{22} & X_{32} & \cdots & X_{k2} \\ \cdots & \cdots & \cdots & \cdots & \cdots \\ 1 & X_{2n} & X_{3n} & \cdots & X_{kn} \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_k \\ \end{bmatrix}+ \begin{bmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \\ \end{bmatrix} \tag{4.2} \end{equation}\]

进一步地，可以得到精简化的PRM矩阵形式： \[\begin{alignat}{4} \mathbf{y} &= &\mathbf{X}&\mathbf{\beta}&+&\mathbf{u} \tag{4.3} \\ (n \times 1) & &{(n \times k)} &{(k \times 1)}&+&{(n \times 1)} \end{alignat}\]

其中：

进一步地，我们可以用矩阵方法表达正态经典线性回归模型假设（N-CLRM）：

随机干扰项的方差协方差矩阵为： \[\begin{align} var-cov(\mathbf{u})&=E(\mathbf{uu'})\\ &=E \begin{bmatrix} u_1\\ u_2\\ \vdots \\ u_n \end{bmatrix} \begin{bmatrix} u_1 & u_2& \cdots & u_n \end{bmatrix}\\ &=E \begin{bmatrix} u_1^2 & u_1u_2 &\cdots &u_1u_n\\ u_2u_1 & u_2^2 &\cdots &u_2u_n\\ \vdots & \vdots &\vdots &\vdots \\ u_nu_1 & u_nu_2 &\cdots &u_n^2\\ \end{bmatrix}\\ &= \begin{bmatrix} E(u_1^2) & E(u_1u_2) &\cdots &E(u_1u_n)\\ E(u_2u_1) & E(u_2^2) &\cdots &E(u_2u_n)\\ \vdots & \vdots &\vdots &\vdots \\ E(u_nu_1) &E(u_nu_2) &\cdots &E(u_n^2)\\ \end{bmatrix}\\ \end{align}\]

如果满足N-CLRM假设，则随机干扰项的方差协方差矩阵进一步可以写成：

\[\begin{align} var-cov(\mathbf{u})&=E(\mathbf{uu'})\\ &= \begin{bmatrix} \sigma_1^2 & \sigma_{12}^2 &\cdots &\sigma_{1n}^2\\ \sigma_{21}^2 & \sigma_2^2 &\cdots &\sigma_{2n}^2\\ \vdots & \vdots &\vdots &\vdots \\ \sigma_{n1}^2 & \sigma_{n2}^2 &\cdots &\sigma_n^2\\ \end{bmatrix} && \leftarrow (E{(u_i)}=0)\\ &= \begin{bmatrix} \sigma^2 & \sigma_{12}^2 &\cdots &\sigma_{1n}^2\\ \sigma_{21}^2 & \sigma^2 &\cdots &\sigma_{2n}^2\\ \vdots & \vdots &\vdots &\vdots \\ \sigma_{n1}^2 & \sigma_{n2}^2 &\cdots &\sigma^2\\ \end{bmatrix} && \leftarrow (var{(u_i)}=\sigma^2)\\ &= \begin{bmatrix} \sigma^2 & 0 &\cdots &0\\ 0 & \sigma^2 &\cdots &0\\ \vdots & \vdots &\vdots &\vdots \\ 0 & 0 &\cdots &\sigma^2\\ \end{bmatrix} && \leftarrow (cov{(u_i,u_j)}=0,i \neq j)\\ &=\sigma^2 \begin{bmatrix} 1 & 0 &\cdots &0\\ 0 & 1 &\cdots &0\\ \vdots & \vdots &\vdots &\vdots \\ 0 & 0 &\cdots &1\\ \end{bmatrix}\\ &=\sigma^2\mathbf{I} \end{align}\]

给定如下的样本回归模型（SRM）： \[\begin{align} Y_i&=\hat{\beta}_1+\hat{\beta}_2X_{2i}+\hat{\beta}_3X_{3i}+\cdots+\hat{\beta}_kX_{ki}+e_i && \text{(SRM)} \tag{4.4} \end{align}\]

最小二乘方法将求解最小化过程： \[\begin{align} Q&=\sum{e_i^2}\\ &=\mathbf{e'e}\\ &=\mathbf{(y-X\hat{\beta})'(y-X\hat{\beta})}\\ &=\mathbf{y'y-2\hat{\beta}'X'y+\hat{\beta}'X'X\hat{\beta}} \tag{4.5} \end{align}\]

进一步可以得到： \[\begin{align} \frac{\partial Q}{\partial \mathbf{\hat{\beta}}}&=0\\ \frac{\partial(\mathbf{y'y-2\hat{\beta}'X'y+\hat{\beta}'X'X\hat{\beta}})}{\partial \mathbf{\hat{\beta}}}&=0\\ -2\mathbf{X'y}+2\mathbf{X'X\hat{\beta}}&=0\\ -\mathbf{X'y}+\mathbf{X'X\hat{\beta}}&=0\\ \mathbf{X'X\hat{\beta}} &=\mathbf{X'y} \end{align}\]

如果矩阵\(\mathbf{X'X}\)的逆矩阵存在，则两边同时左乘\(\mathbf{(X'X)^{-1}}\)，得到OLS估计量：

\[\begin{align} \mathbf{\hat{\beta}} &=\mathbf{(X'X)^{-1}X'y} \tag{4.6} \end{align}\]

对于回归系数的OLS估计量\(\mathbf{\hat{\beta}}\)，进一步讨论其方差和协方差矩阵\(var-cov(\mathbf{\hat{\beta}})\)，一般记为：

\[\begin{align} var-cov(\mathbf{\hat{\beta}}) &=E\left( \left(\hat{\beta}-E(\hat{\beta}) \right) \left( \hat{\beta}-E(\hat{\beta}) \right )' \right)\\ &= \begin{bmatrix} var(\hat{\beta_1}) & cov(\hat{\beta_1},\hat{\beta_2}) &\cdots &cov(\hat{\beta_1},\hat{\beta_k})\\ cov(\hat{\beta_2},\hat{\beta_1}) & var(\hat{\beta_2}) &\cdots &cov(\hat{\beta_2},\hat{\beta_k})\\ \vdots & \vdots &\vdots &\vdots \\ cov(\hat{\beta_k},\hat{\beta_1}) & cov(\hat{\beta_k},\hat{\beta_2}) &\cdots &var(\hat{\beta_k})\\ \end{bmatrix} \end{align}\]

如果满足N-CLRM假设，则回归系数的OLS估计量\(\mathbf{\hat{\beta}}\)的方差和协方差矩阵\(var-cov(\mathbf{\hat{\beta}})\)可以进一步可以写成：

\[\begin{align} var-cov(\mathbf{\hat{\beta}}) &=\mathbf{E\left( \left(\hat{\beta}-E(\hat{\beta}) \right) \left( \hat{\beta}-E(\hat{\beta}) \right )' \right)}\\ &=\mathbf{E\left( \left(\hat{\beta}-{\beta} \right) \left( \hat{\beta}-\beta \right )' \right)} \\ &=\mathbf{E\left( \left((X'X)^{-1}X'u \right) \left( (X'X)^{-1}X'u \right )' \right)} \\ &=\mathbf{E\left( (X'X)^{-1}X'uu'X(X'X)^{-1} \right)} \\ &= \mathbf{(X'X)^{-1}X'E(uu')X(X'X)^{-1}} \\ &= \mathbf{(X'X)^{-1}X'}\sigma^2\mathbf{IX(X'X)^{-1}} \\ &= \sigma^2\mathbf{(X'X)^{-1}X'X(X'X)^{-1}} \\ &= \sigma^2\mathbf{(X'X)^{-1}} \tag{4.7}\\ \end{align}\]

此外，很用以证明OLS方法下，利用样本回归模型(4.4)得到的估计量\(\hat{\sigma}^2\)，是对总体回归模型(4.1)参数\({\sigma}^2\)的无偏估计，也即：

\[\begin{align} \hat{\sigma}^2&=\frac{\sum{e_i^2}}{n-k}=\frac{\mathbf{e'e}}{n-k} \tag{4.8}\\ E(\hat{\sigma}^2)&=\sigma^2 \end{align}\]

那么，可以很快得到回归系数的OLS估计量\(\mathbf{\hat{\beta}}\)的样本方差和协方差矩阵\(S^2_{ij}(\mathbf{\hat{\beta}})\)

\[\begin{align} S^2_{ij}(\mathbf{\hat{\beta}}) &= \hat{\sigma}^2\mathbf{(X'X)^{-1}} \tag{4.9}\\ &= \frac{\mathbf{e'e}}{n-k}\mathbf{(X'X)^{-1}} \\ \end{align}\]

下面我们将证明高斯-马尔可夫定理(Gauss-Markov Theorem)：在正态经典线性回归模型假设（N-CLRM）下，采用普通最小二乘法（OLS），得到的估计量\(\hat{\beta}\)，是真实参数\(\beta\)最优的、线性的、无偏估计量（BLUE）。记为： \[\xrightarrow[\text{N-CLRM}]{\text{OLS}}\mathbf{\hat{\beta}} \xrightarrow[\text{}]{\text{BLUE}} \mathbf{\beta}\]

证明 (线性性). 因为模型参数的OLS估计为： \[\begin{align} \mathbf{\hat{\beta}} &=\mathbf{(X'X)^{-1}X'y} \end{align}\]

又因为矩阵\(\mathbf{X}\)为列满秩，也即\(\rho(\mathbf{X})=k\)，所以关于是线性的。

证明 (无偏性). 根据模型参数OLS估计，容易得到如下过程： \[\begin{align} \mathbf{\hat{\beta}} &=\mathbf{(X'X)^{-1}X'y} \\ &=\mathbf{(X'X)^{-1}X'(X\beta+u)} \\ &=\mathbf{(X'X)^{-1}X'X\beta+(X'X)^{-1}X'u} \\ &=\mathbf{\beta+(X'X)^{-1}X'u} \\ \end{align}\]

进一步可证明 \[\begin{align} E(\mathbf{\hat{\beta}}) &=E(\mathbf{\beta+(X'X)^{-1}X'u}) \\ &=\mathbf{E(\beta)+(X'X)^{-1}X'E(u)} \\ &=\mathbf{\beta} \\ \end{align}\]

因此，\(\mathbf{\hat{\beta}}\)是参数\(\mathbf{\beta}\)的无偏估计量得证。

证明 (方差最小/最优性). 假设存在用其他方法估计的线性无偏估计量\(\mathbf{\beta^{\ast}}\)，则要求\(\mathbf{C}\)满足如下条件： \[\begin{align} \mathbf{CX} &=0 \\ \end{align}\]

从而保证如下式子成立： \[\begin{align} \mathbf{\beta^{\ast}} &=\mathbf{\left((X'X)^{-1}X'+C \right)y} \\ &=\mathbf{\left((X'X)^{-1}X'+C \right)(X\beta+u)} \\ &=\mathbf{\beta+CX\beta+(X'X)^{-1}X'u+Cu} \\ &=\mathbf{\beta+(X'X)^{-1}X'u+Cu} \\ \end{align}\]

进一步得到：

\[\begin{align} \mathbf{\beta^{\ast}-\beta} &=\mathbf{(X'X)^{-1}X'u+Cu} \\ \end{align}\]

根据方差定义，有： \[\begin{align} var-cov(\mathbf{\beta^{\ast}}) &=\mathbf{E\left( (\beta^{\ast}-\beta)(\beta^{\ast}-\beta)'\right)}\\ &=\mathbf{E\left( \left((X'X)^{-1}X'u+Cu\right)\left((X'X)^{-1}X'u+Cu\right)'\right)}\\ &=\mathbf{\sigma^2(X'X)^{-1}+\sigma^2CC'}\\ &=var-cov(\mathbf{\hat{\beta}})+\mathbf{\sigma^2CC'} \end{align}\]

其中，我们可以证明\(\mathbf{\sigma^2CC'}\)是半正定矩阵，矩阵对角线元素\(\geq 0\)，因此有：

\[\begin{align} var-cov(\mathbf{\beta^{\ast}}) & \geq var-cov(\mathbf{\hat{\beta}}) \end{align}\]

从而表明N-CLRM假设下，OLS方法估计得到的\(\mathbf{\hat{\beta}}\)，方差最小。

对于多元回归模型： \[\begin{align} Y_i&=\beta_1+\beta_2X_{2i}+\beta_3X_{3i}+\cdots+\beta_kX_{ki}+u_i && \text{(PRM)}\\ Y_i&=\hat{\beta}_1+\hat{\beta}_2X_{2i}+\hat{\beta}_3X_{3i}+\cdots+\hat{\beta}_kX_{ki}+e_i && \text{(SRM)}\\ \hat{Y}_i&=\hat{\beta}_1+\hat{\beta}_2X_{2i}+\hat{\beta}_3X_{3i}+\cdots+\hat{\beta}_kX_{ki} && \text{(SRF)} \end{align}\]

通过对\(Y_i\)的变异及其来源的分解，可以得到：

\[\begin{align} (Y_i-\bar{Y_i}) &= (\hat{Y_i}-\bar{Y_i}) +(Y_i-\bar{Y_i}) \tag{4.10}\\ y_i &=\hat{y_i}+ e_i \tag{4.11}\\ \sum{y_i^2} &= \sum{\hat{y_i}^2} +\sum{e_i^2} \tag{4.12}\\ TSS&=ESS+RSS \tag{4.13} \end{align}\]

其中TSS表示总离差平方和，ESS表示回归平法和，RSS表示残差平方和。它们分别可以用矩阵表达为：

\[\begin{align} TSS&=\mathbf{y'y}-n\bar{Y}^2 \tag{4.14}\\ RSS&=\mathbf{ee'}=\mathbf{yy'-\hat{\beta}'X'y} \tag{4.15}\\ ESS&=\mathbf{\hat{\beta}'X'y}-n\bar{Y}^2 \tag{4.16} \end{align}\]

进一步地，可以得到方差分析表（ANOVA）：

根据拟合优度的定义2.10，判定系数\(R^2\)的矩阵计算公式为：

\[\begin{align} R^2&=\frac{ESS}{TSS}\\ &=\frac{\mathbf{\hat{\beta}'X'y}-n\bar{Y}^2}{\mathbf{y'y}-n\bar{Y}^2} \tag{4.17} \end{align}\]

根据回归系数显著性检验的定义2.11，利用矩阵方法实现t检验的过程如下：

对于多元回归模型 \[\begin{align} Y_i&=\beta_1+\beta_2X_{2i}+\beta_3X_{3i}+\cdots+\beta_kX_{ki}+u_i \tag{4.18}\\ \mathbf{y} &= \mathbf{X}\mathbf{\beta}+\mathbf{u} && \text{(PRM)} \tag{4.19} \\ \mathbf{y} &= \mathbf{X}\mathbf{\hat{\beta}}+\mathbf{e} && \text{(SRM)} \tag{4.20}\\ \end{align}\]

在N-CLRM假设下，采用OLS估计方法，可以证明：

\[\begin{align} \mathbf{u}&\sim N(\mathbf{0},\sigma^2\mathbf{I}) \tag{4.21}\\ \mathbf{\hat{\beta}} &\sim N\left(\mathbf{\beta},\sigma^2\mathbf{X'X}^{-1} \right) \tag{4.22} \\ \end{align}\]

从而可以构造t统计量 \[\begin{align} \mathbf{t_{\hat{\beta}}}&=\mathbf{\frac{\hat{\beta}-\beta}{S_{\hat{\beta}}}} \sim \mathbf{t(n-k)} \tag{4.23} \end{align}\]

对于总体回归模型(4.18)的任一参数\(\mathbf{\beta_j}, j \in (1,2,\cdots,k)\)提出假设： \[\begin{equation} \mathbf{\beta_j}: \begin{cases} H_0:\mathbf{\beta_j}=0\\ H_1:\mathbf{\beta_j}\neq 0 \end{cases} \end{equation}\]

根据原假设\(H_0\)，可以得到： \[\begin{align} \mathbf{t_{\hat{\beta}}^{\ast}}&=\frac{\mathbf{\hat{\beta}}}{\mathbf{\sqrt{S^2_{ij}(\hat{\beta}_{kk})}}} \tag{4.24} \end{align}\]

其中\(\mathbf{S^2_{ij}(\hat{\beta_{kk}})}\)表示，由\(\mathbf{\hat{\beta}}\)的样本方差和协方差矩阵\(S^2_{ij}(\mathbf{\hat{\beta}})\)的对角线元素组成的列向量，即\(S^2_{ij}(\hat{\beta}_{kk})=[s^2_{\hat{\beta}_1},s^2_{\hat{\beta}_2},\cdots,s^2_{\hat{\beta}_k}]'\)

若给定显著性水平\(\alpha\)和自由度\((n-k)\)，很快可以得到t分布的查表t值，也即\(t_{(1-\alpha/2)}(n-k)\)。然后比较样本t统计量\(\mathbf{t_{\hat{\beta}}^{\ast}}\)与理论t分布查的表t值\((t_{(1-\alpha/2)}(n-2))\)的关系。根据如下法则做出参数\(\beta_2\)的显著性检验结论：

对于多元回归模型 \[\begin{align} Y_i&=\beta_1+\beta_2X_{2i}+\beta_3X_{3i}+\cdots+\beta_kX_{ki}+u_i && \text{(U-PRM)} \tag{4.25}\\ Y_i&=\hat{\beta}_1+\hat{\beta}_2X_{2i}+\hat{\beta_3}X_{3i}+\cdots+\hat{\beta}_kX_{ki}+e_i && \text{(U-SRM)}\tag{4.26}\\ \mathbf{y} &= \mathbf{X}\mathbf{\beta}+\mathbf{u} && \text{(PRM)} \tag{4.27} \\ \mathbf{y} &= \mathbf{X}\mathbf{\hat{\beta}}+\mathbf{e} && \text{(SRM)} \tag{4.28}\\ \end{align}\]

我们称总体回归模型(4.25)和对应的样本回归模型(4.26)为为无约束模型（unrestricted model）。

对于总体回归模型(4.25)的斜率参数\(\mathbf{\beta_j}, j \in (2,\cdots,k)\)提出如下联合假设（joint hypothesis）： \[\begin{equation} \mathbf{\beta_j}: \begin{cases} H_0:\beta_2=\beta_3=\cdots=\beta_k=0\\ H_1:\beta_j \text{ not all }0, \text{ for } j \in (2,\cdots,k) \end{cases} \end{equation}\]

在原假设\(H_0:\beta_2=\beta_3=\cdots=\beta_k=0\)下，我们可以得到如下模型： \[\begin{align} Y_i&=\beta_1+u_i && \text{(R-PRM)} \tag{4.29}\\ Y_i&=\hat{\beta}_1+e_i && \text{(R-SRM)}\tag{4.30} \end{align}\]

此时，我们称总体回归模型(4.29)和对应的样本回归模型(4.30)为受约束模型（restricted model）。

在备择假设\(H_1:\beta_j\)不全为0，\(j \in (2,\cdots,k)\)下，我们可以得到该假设下的一种特殊回归模型8（如\(\beta_j \neq 0, j \in (2,\cdots,k)\)），也即无约束总体回归模型(4.25)和无约束样本回归模型(4.26)。

定义 4.1 (受约束模型) 一般也称为参数约束回归模型（restricted model），是指总体参数满足某种约束条件的一类回归模型。

定义 4.2 (无约束模型) 一般也称为参数无约束回归模型（unrestricted model），是指总体参数没有被指定满足某种约束条件的一类回归模型。

根据回归系数显著性检验的定义2.12，利用矩阵方法实现F检验的过程如下：

在N-CLRM假设下，采用OLS估计方法，容易证明：

对于无约束总体回归模型(4.25)有 \[\begin{align} u_i &\sim i.i.d \ N(0,\sigma^2)\\ Y_i&\sim i.i.d \ N(\beta_1+\beta_2X_i+\cdots+\beta_kX_i,\sigma^2)\\ RSS_U&=\sum{(Y_i-\hat{Y_i})^2} \sim \chi^2(n-k) \tag{4.31}\\ \end{align}\]

对于受约束总体回归模型(4.29)有 \[\begin{align} u_i &\sim i.i.d \ N(0,\sigma^2)\\ Y_i&\sim i.i.d \ N(\beta_1,\sigma^2)\\ RSS_R&=\sum{(Y_i-\hat{Y_i})^2} \sim \chi^2(n-1) \tag{4.32}\\ \end{align}\]

然后我们可以构造得到一个F统计量: \[\begin{align} F^{\ast}&=\frac{(RSS_R-RSS_U)/(k-1)}{RSS_U/(n-k)} \tag{2.39}\\ &=\frac{ESS_U/df_{ESS_U}}{RSS_U/df_{RSS_U}} \\ &\sim F(df_{ESS_U},df_{RSS_U}) \end{align}\]

若给定显著性水平\(\alpha\)和样本数\((n)\)，很快可以得到F分布的查表F值，也即\(F_{(1-\alpha)}(k-1,n-k)\),然后比较其与样本F统计量\(F^{\ast}\)的关系。

根据如下法则做出总体回归模型整体显著性检验结论：

具体第，计算\(F^{\ast}\)的矩阵公式为

\[\begin{align} F^{\ast}&=\frac{ESS_U/df_{ESS_U}}{RSS_U/df_{RSS_U}} =\frac{\left(\mathbf{\hat{\beta}'X'y}-n\bar{Y}^2 \right)/{(k-1)}}{\left(\mathbf{yy'-\hat{\beta}'X'y}\right)/{(n-k)}} \end{align}\]

此外，我们还可以通过拟合优度\(R^2\)，计算得到\(F^{\ast}\) \[\begin{align} F^{\ast}&=\frac{ESS_U/df_{ESS_U}}{RSS_U/df_{RSS_U}} =\frac{R^2_U/{(k-1)}}{\left(1-R^2_U\right)/{(n-k)}} \tag{4.33} \end{align}\]

根据一元线性回归样本外预测（节2.2.5）的知识内容，下面将用矩阵方法实现样本外均值预测\(\mathbf{E(Y_0|X_0)}\)和样本外个值预测\(\mathbf{(Y_0|X_0)}\)。其中，给定样本外数据\(\mathbf{X_0}=[1,X_{20},X_{30},\cdots,X_{k0}]'\)（列向量）。

对于多元回归模型 \[\begin{align} Y_i&=\beta_1+\beta_2X_{2i}+\beta_3X_{3i}+\cdots+\beta_kX_{ki}+u_i \tag{4.34}\\ Y_i&=\hat{\beta}_1+\hat{\beta}_2X_{2i}+\hat{\beta_3}X_{3i}+\cdots+\hat{\beta}_kX_{ki}+e_i \\ \mathbf{y} &= \mathbf{X}\mathbf{\beta}+\mathbf{u} \\ \mathbf{y} &= \mathbf{X}\mathbf{\hat{\beta}}+\mathbf{e} \\ \mathbf{\hat{y}} &= \mathbf{X}\mathbf{\hat{\beta}} \end{align}\]

对于样本外均值预测\(\mathbf{E(Y_0|X_0)}\)，矩阵实现步骤如下：

\[\begin{align} E(\hat{Y}_0)&=E\mathbf{(X_0\hat{\beta})}=\mathbf{X_0\beta}=E\mathbf{(Y_0)}\\ var(\hat{Y}_0)&=E\mathbf{(X_0\hat{\beta}-X_0\beta)}^2\\ &=E\mathbf{\left( X_0(\hat{\beta}-\beta)(\hat{\beta}-\beta)'X_0' \right)}\\ &=E\mathbf{X_0\left( (\hat{\beta}-\beta)(\hat{\beta}-\beta)' \right)X_0'}\\ &=\sigma^2\mathbf{X_0\left( X'X \right)^{-1}X_0'}\\ \end{align}\]

\[\begin{align} S^2(\hat{Y}_0)&=\hat{\sigma}^2\mathbf{X_0(X'X)^{-1}X_0'} \end{align}\]

因此\(\mathbf{\hat{Y}_0}\)服从如下正态分布： \[\begin{align} \hat{Y}_0& \sim N(\mu_{\hat{Y}_0},\sigma^2_{\hat{Y}_0})\\ \hat{Y}_0& \sim N\left(E(Y_0|X_0), \sigma^2\mathbf{X_0(X'X)^{-1}X_0'}\right) \tag{2.42} \end{align}\]

因此可以构造t统计量：

\[\begin{align} t_{\hat{Y}_0}& =\frac{\hat{Y}_0-E(Y|X_0)}{S_{\hat{Y}_0}} &\sim t(n-k) \tag{4.35} \end{align}\]

其中： \[\begin{align} \mathbf{S_{\hat{Y}_0}} &=\sqrt{\hat{\sigma}^2X_0(X'X)^{-1}X_0'} \tag{4.36}\\ \hat{\sigma}^2&=\frac{\mathbf{ee'}}{(n-k)} \tag{4.37} \end{align}\]

给定显著性水平\(\alpha\)的情况下，可以查表得到理论t值\(t_{1-\alpha/2}(n-k)\)，从而可以计算得到均值预测的置信区间：

\[\begin{align} \hat{Y}_0-t_{1-\alpha/2}(n-2) \cdot S_{\hat{Y}_0} \leq E(Y|X_0) \leq \hat{Y}_0+t_{1-\alpha/2}(n-2) \cdot S_{\hat{Y}_0} \tag{2.45} \end{align}\]

对于多元线性回归模型(4.34)，样本外个值预测\(\mathbf{(Y_0|X_0)}\)的矩阵实现步骤如下：

因为有 \[\begin{align} e_0&=Y_0-\hat{Y}_0\tag{2.45} \end{align}\]

所以\(e_0\)的期望为： \[\begin{align} E(e_0)&=E(Y_0-\hat{Y}_0)\\ &=E(\mathbf{X_0\beta}+u_0-\mathbf{X_0\hat{\beta}})\\ &=E\left(u_0-\mathbf{X_0 (\hat{\beta}- \beta)} \right)\\ &=E\left(u_0-\mathbf{X_0 (X'X)^{-1}X'u} \right)\\ &=0 \end{align}\]

同时，\(e_0\)的方差为：

\[\begin{align} var(e_0)&=E(Y_0-\hat{Y}_0)^2\\ &=E(e_0^2)\\ &=E\left(u_0-\mathbf{X_0 (X'X)^{-1}X'u} \right)^2\\ &=\sigma^2\left( 1+ \mathbf{X_0(X'X)^{-1}X_0'}\right) \end{align}\]

进一步地，\(e_0\)服从如下正态分布： \[\begin{align} e_0& \sim N(\mu_{e_0},\sigma^2_{e_0})\\ e_0& \sim N\left(0, \sigma^2\left(1+\mathbf{X_0(X'X)^{-1}X_0'}\right)\right) \tag{4.38} \end{align}\]

因此可以构造t统计量：

\[\begin{align} t_{e_0}& =\frac{\hat{Y}_0-Y_0}{S_{e_0}} \sim t(n-k) \tag{4.39} \end{align}\]

其中： \[\begin{align} S_{Y_0-\hat{Y}_0}=S_{e_0} &=\sqrt{\hat{\sigma}^2 \left( 1+X_0(X'X)^{-1}X_0' \right) } \tag{4.36}\\ \hat{\sigma}^2&=\frac{\mathbf{ee'}}{(n-k)} \tag{4.37} \end{align}\]

给定显著性水平\(\alpha\)的情况下，可以查表得到理论t值\(t_{1-\alpha/2}(n-k)\)，从而可以计算得到均值预测的置信区间：

\[\begin{align} \hat{Y}_0-t_{1-\alpha/2}(n-2) \cdot S_{Y_0-\hat{Y}_0} \leq (Y_0|X_0) \leq \hat{Y}_0+t_{1-\alpha/2}(n-2) \cdot S_{Y_0-\hat{Y}_0} \tag{4.40} \end{align}\]

在Eviews中运用矩阵方法，计算如下步骤:

本次实验需要提前准备好如下软件：

玫瑰的需求：表4.1给出美国底特律市区对玫瑰的季度需求数据。

变量说明见表4.2：

请考虑如下两个需求函数：

\[\begin{equation} Y_t=\hat{\alpha}_1+\hat{\alpha}_2X_{2t}+\hat{\alpha}_3X_{3t}+ \hat{\alpha}_4X_{4t}+\hat{\alpha}_5X_{5t}+e_{1t} \tag{4.41} \end{equation}\]

\[\begin{equation} ln(Y_t)=\hat{\beta}_1+\hat{\beta}_2ln(X_{2t})+\hat{\beta}_3ln(X_{3t})+\hat{\beta}_4ln(X_{4t})+\hat{\beta}_5X_{5t}+e_{2t} \tag{4.42} \end{equation}\]

本次实验将利用矩阵方法进行计算，我们对计算过程中的Eviews对象做如下命名约定：

Eviews操作目标：构建工作文件，成功导入数据

Eviews操作思路：利用EViews代码创建工作文件并导入数据。

在命令视窗中依次输入并运行如下EViews代码：

在工作文件视窗下，可以看到创建的工作文件和导入的数据，可以双击查看（见图4.1）：

图 4.1: 创建工作文件并导入数据

Eviews操作目标：得到回归方程，查看回归结果

Eviews操作思路：构建回归方程对象。回归模型为：

\[\begin{equation} \begin{alignedat}{999} &log(Q)=&& + \beta_{1} && + \beta_{2} log(X2)&& + \beta_{3} log(X3)&& + \beta_{4} log(X4)&& + \beta_{5} X5&&+u\\ \end{alignedat} \tag{4.43} \end{equation}\]

在命令视窗中依次输入并运行如下EViews代码：

在工作文件视窗下，可以看到如下新生成的方程对象，可以双击查看eq_log（见图4.2）：

图 4.2: 生成回归方程对象

回归方程结果见图4.3：

图 4.3: 玫瑰销售的对数模型回归结果

玫瑰销售的对数模型的简要回归报告如下：

\[\begin{equation} \begin{alignedat}{999} &\widehat{log(Q)}=&&+\hat{\beta}_{1}&&+\hat{\beta}_{2}log(X2)&&+\hat{\beta}_{3}log(X3)&&+\hat{\beta}_{4}log(X4)&&+\hat{\beta}_{5}X5\\ \end{alignedat} \tag{4.44} \end{equation}\] \[\begin{equation} \begin{alignedat}{999} &\widehat{log(Q)}=&&+3.57&&-1.17log(X2)&&+0.74log(X3)&&+1.15log(X4)&&-0.03X5\\ &\text{(t)}&&(0.7608)&&(-2.3974)&&(1.1303)&&(1.2785)&&(-1.8339)\\ &\text{(se)}&&(4.6952)&&(0.4883)&&(0.6529)&&(0.9020)&&(0.0164)\\ &\text{(fitness)}&& n=16;&& R^2=0.7988;&& \bar{R^2}=0.7256\\ & && F^{\ast}=10.92;&& p=0.0008\\ \end{alignedat} \tag{4.45} \end{equation}\]

Eviews操作目标：构造几个重要EViews对象，便于后面分析使用

Eviews操作思路：样本数n，构造常数序列，构造组对象

在命令视窗中依次输入并运行如下EViews代码：

在工作文件视窗下，可以看到如下新生成的对象，可以双击查看（见图4.4）：

图 4.4: 构建几个重要变量对象

Eviews操作目标：构造X矩阵和Y矩阵对象，便于后面分析使用

Eviews操作思路：把组对象转换成X矩阵；利用log()函数构造Y矩阵

在命令视窗中依次输入并运行如下EViews代码：

在工作文件视窗下，可以看到如下新生成的对象，可以双击查看（见图4.5）：

图 4.5: 构造X矩阵和Y矩阵对象

Eviews操作目标：计算得到回归方程的回归系数向量（包含5个系数估计值）。

Eviews操作思路：利用理论公式，先计算得到几个重要矩阵（后面分析还要用到），最后利用矩阵运算计算得出回归系数向量。理论计算公式为：

\[\begin{equation} \mathbf{\hat{\beta}}=\mathbf{{(X'X)}^{-1}X'y} \end{equation}\]

在命令视窗中依次输入并运行如下EViews代码：

在工作文件视窗下，可以看到如下新生成的矩阵对象，可以双击查看（见图4.6）：

图 4.6: 计算回归系数向量

Eviews操作目标：计算回归方程的误差方差及标准差（标量），与主回归结果进行核验。

Eviews操作思路：利用理论公式

回归误差方差(\(\hat{\sigma}^2\))和回归误差标准差(\(\hat{\sigma}\))的理论计算公式分别为：

\[\begin{align} \hat{\sigma}^2&=\frac{\sum{e_i^2}}{n-k}=\frac{\mathbf{y'y-\hat{\beta}'X'y}}{n-k}\\ \hat{\sigma}&=\sqrt{\frac{\sum{e_i^2}}{n-k}}=\sqrt{\frac{\mathbf{yy'-\hat{\beta}'X'y}}{n-k}} \end{align}\]

在命令视窗中依次输入并运行如下EViews代码：

在工作文件视窗下，可以看到如下的标量对象，可以双击查看（见图4.7）：

图 4.7: 计算回归方程的误差方差及标准差

Eviews操作目标：计算回归方程的方差协方差矩阵，得到系数的样本方差和标准差。

Eviews操作思路：先得到方差协方差矩阵，再提取对角线元素，利用理论公式

\[\begin{align} &\widehat{var}\_\widehat{cov}(\mathbf{\hat{\beta}})=\hat{\sigma}^2\mathbf{(X'X)^{-1}}\\ &\mathbf{S^2_{\hat{\beta}}}\\ &\mathbf{S_{\hat{\beta}}}=\sqrt{S^2_{\hat{\beta}}} \end{align}\]

在命令视窗中依次输入并运行如下EViews代码：

在工作文件视窗下，可以看到如下EViews对象，可以双击查看（见图4.8）：

图 4.8: 计算回归系数的方差协方差矩阵、系数的样本方差和标准差

Eviews操作目标：进行平方和分解，得到方差分析表（ANOVA）。

Eviews操作思路：掌握自由度的计算，利用理论公式

\[\begin{align} &n\bar{Y}^2 \\ TSS &=\mathbf{y'y}-n\bar{Y}^2 \\ RSS &=\mathbf{e'e}=\mathbf{y'y-\hat{\beta}'X'y} \\ ESS &=\mathbf{\hat{y}'\hat{y}}=\mathbf{\hat{\beta}'X'y}-n\bar{Y}^2 \\ df_{TSS} &= n-1 \\ df_{RSS} &= n-k \\ df_{ESS} &=k-1 \end{align}\]

在命令视窗中依次输入并运行如下EViews代码：

在工作文件视窗下，可以看到如下的标量对象，可以双击查看（见图4.9）：

图 4.9: 对回归方程进行平方和分解

Eviews操作目标：得到自变量的相关系数表，计算方程的判定系数和调整判定系数。

Eviews操作思路：构建自变量组对象，得到相关系数表；利用方差分析表结果计算判定系数和调整判定系数。利用理论公式

\[\begin{align} R^2&=\frac{ESS}{TSS} \\ &=\frac{\mathbf{\hat{\beta}'X'y}-n\bar{Y}^2}{\mathbf{y'y}-n\bar{Y}^2} \\ \bar{R}^2 &=1-\frac{RSS/{f_{RSS}}}{TSS/{f_{TSS}}} \\ &=1-\frac{\mathbf{y'y-\hat{\beta}X'y}/{n-k}}{{(\mathbf{y'y}-n\bar{Y}^2)}/{n-1}} \end{align}\]

在命令视窗中依次输入并运行如下EViews代码：

在工作文件视窗下，可以看到如下的EViews对象，可以双击查看（见图4.10）：

图 4.10: 相关系数表、回归方程的判定系数和调整判定系数

回归系数的样本t统计量以及给定显著性水平下的理论t值的计算公式为：

\[\begin{align} \mathbf{t^{\ast}_{\beta}} &=\mathbf{\frac{\hat{\beta}}{S_{\hat{\beta}}}} \\ t_{1-\alpha/2}(n-k) &=t_{0.975}(11) \end{align}\]

在命令视窗中依次输入并运行如下EViews代码：

在工作文件视窗下，可以看到如下的EViews对象，可以双击查看（见图4.11）：

图 4.11: 对回归方程的回归系数进行显著性t检验

回归方程的样本F统计量，以及给定显著性水平下理论F值的计算公式为：

\[\begin{align} F^{\ast} &=\frac{ESS/{f_{ESS}}}{RSS/{f_{RSS}}} =\frac{MSS_{ESS}}{MSS_{RSS}} \\ &=\frac{(\mathbf{\hat{\beta}X'y}-n\bar{Y}^2)/{k-1}}{{(\mathbf{y'y-\hat{\beta}'X'y})}/{n-k}} \\ F_{1-\alpha}(k-1,n-k) &=F_{0.95}(4,11) \end{align}\]

在命令视窗中依次输入并运行如下EViews代码：

在工作文件视窗下，可以看到如下的EViews对象，可以双击查看（见图4.12）：

图 4.12: 对回归方程的整体显著性进行F假设检验

相关参考计算公式为：

\[\begin{align} \mathbf{\hat{Y_0}=X_0\hat{\beta}} \end{align}\]

\[\begin{align} \mathbf{S_{\hat{Y}_0}} &=\sqrt{\hat{\sigma}^2X_0(X'X)^{-1}X_0'} \tag{4.36} \end{align}\]

\[\begin{align} S_{Y_0-\hat{Y}_0}=S_{e_0} &=\sqrt{\hat{\sigma}^2 \left( 1+X_0(X'X)^{-1}X_0' \right) } \tag{4.36}\\ \hat{\sigma}^2&=\frac{\mathbf{ee'}}{(n-k)} \tag{4.37} \end{align}\]

\[\begin{align} \hat{Y}_0-t_{1-\alpha/2}(n-2) \cdot S_{\hat{Y}_0} \leq E(Y|X_0) \leq \hat{Y}_0+t_{1-\alpha/2}(n-2) \cdot S_{\hat{Y}_0} \tag{2.45} \end{align}\]

\[\begin{align} \hat{Y}_0-t_{1-\alpha/2}(n-2) \cdot S_{Y_0-\hat{Y}_0} \leq (Y_0|X_0) \leq \hat{Y}_0+t_{1-\alpha/2}(n-2) \cdot S_{Y_0-\hat{Y}_0} \tag{4.40} \end{align}\]

在命令视窗中依次输入并运行如下EViews代码：

在工作文件视窗下，可以看到如下的EViews对象，可以双击查看（见图4.13）：

样本外\(\mathbf{X_0}\)矩阵(元素为1,x2=log(20), x3=log(4), x4=log(4), x5=200)的矩阵对象x0

样本外估计\(\hat{Y_0}\)值的标量对象y0_hat

均值预测的样本标准差\(S_{\hat{Y}_0}\)的标量对象s_y0h

个值预测的样本标准差\(S_{Y_0-\hat{Y}_0}\)的标量对象s_y0h_mns_y0

均值预测的置信区间的左界值\(\hat{Y}_0-t_{1-\alpha/2}(n-2) \cdot S_{\hat{Y}_0}\)的标量对象y_exp_lft

均值预测的置信区间的右界值\(\hat{Y}_0+t_{1-\alpha/2}(n-2) \cdot S_{\hat{Y}_0}\)的标量对象y_exp_rht

个值预测的置信区间的左界值\(\hat{Y}_0-t_{1-\alpha/2}(n-2) \cdot S_{Y_0-\hat{Y}_0}\)的标量对象y_ind_lft

个值预测的置信区间的右界值\(\hat{Y}_0+t_{1-\alpha/2}(n-2) \cdot S_{Y_0-\hat{Y}_0}\)的标量对象y_ind_rht

图 4.13: 进行样本外的均值预测、个值预测，并计算置信区间

实际操作中，在EViews命令视窗中逐条输入代码，既容易出错，又不便于维护这些代码，还不能进行代码的重复使用（在第一章的节1.8中已经论述）。

因此，读者可以创建一个.prg编程文件，并在其中编写EViews代码，进行管理、维护、运行和分析。下面代码按本章主要实验步骤编写，读者可以用于本章的EViews编程参考，进行实验练习。

玫瑰的需求：表4.4给出美国底特律市区对玫瑰的季度需求数据。

变量说明见表4.5：

请考虑如下两个需求函数：

\[\begin{equation} Y_t=\hat{\alpha}_1+\hat{\alpha}_2X_{2t}+\hat{\alpha}_3X_{3t}+ \hat{\alpha}_4X_{4t}+\hat{\alpha}_5X_{5t}+e_{1t} \tag{4.41} \end{equation}\]

\[\begin{equation} ln(Y_t)=\hat{\beta}_1+\hat{\beta}_2ln(X_{2t})+\hat{\beta}_3ln(X_{3t})+\hat{\beta}_4ln(X_{4t})+\hat{\beta}_5X_{5t}+e_{2t} \tag{4.42} \end{equation}\]

请回答如下问题:

关于线性模型(4.41)，运用菜单操作，得到回归分析报告。

关于线性模型(4.41)，在Eviews中运用矩阵方法，计算如下步骤：

关于对数线性模型(4.42)，运用菜单操作，得到回归分析报告。

关于对数线性模型(4.42)，在Eviews中运用矩阵方法，计算如下步骤：

根据对数模型特征，可知\(\hat{\beta_2}\)、\(\hat{\beta_3}\)和\(\hat{\beta_4}\)分别为玫瑰需求的自价格弹性，交叉价格弹性和收入弹性。 它们的先验符号是什么?你的结果同先验预期相符吗?

根据你的分析，你会选择哪个模型(如果可选)? 为什么?

仅考虑对数设定形式模型(4.42) ：

  【本次实验题目完毕啦！！】