在统计建模中， 伴随着参数的估计值， 应该同时给出估计的“标准误差”。 设总体\(X \sim F(x, \theta)\), \(\theta \in \Theta\)， \(\hat\phi\)是总体的一个参数\(\phi\)的估计量， 称\(\text{SE}=\sqrt{\text{Var}(\hat\phi)}\)为\(\hat\phi\)的标准误差。 实际工作中SE一般是未知的，SE的估计也称为\(\hat\phi\)的标准误差。 对有偏估计，除了标准误差外我们还希望能够估计偏差。 进一步地，我们还可能希望得到统计量\(\hat\phi\)的分布，称为抽样分布。

例17.1 设\(X_i, i=1,\ldots,n\) 是总体\(X \sim F(x)\)的样本, 样本平均值\(\hat\phi = \bar X = \frac{1}{n} \sum_i X_i\)为\(\phi=EX\)的点估计， \(\text{SE}(\bar X) = \sqrt{\text{Var}(X)/n}\)， 可以用\(S / \sqrt{n}\)估计SE(\(S^2\)为样本方差)。 根据中心极限定理和强大数律，当样本量\(n\)较大时可以取\(EX\) 的近似95%置信区间为\(\bar X \pm 2 \,\text{SE}(\bar X)\)。

例17.2 线性模型参数估计的SE。

考虑线性模型中参数估计的精度。 设模型为 \[ \begin{aligned} \boldsymbol Y = \boldsymbol X \boldsymbol\beta + \boldsymbol\varepsilon, \end{aligned} \] 其中\(\boldsymbol\varepsilon \sim \text{N}(0,\sigma^2 I_n\)), \(\sigma^2\)未知， \(\boldsymbol\beta\)是未知系数向量, \(X\)是已知的\(n\times p\)数值矩阵, \(n > p\)。 在\(X\)列满秩时\(\boldsymbol\beta\)的最小二乘估计为\(\hat{\boldsymbol\beta} = (X^T X)^{-1} X^T \boldsymbol Y\), 而\(\hat{\boldsymbol\beta}\)的协方差阵为\(\text{Var}(\hat{\boldsymbol\beta}) = \sigma^2 (X^TX)^{-1}\)。 所以，第\(j\)个系数\(\beta_j\)的标准误差可估计为 \(\text{SE}(\hat\theta_j) = \hat\sigma \sqrt{a^{(jj)}}\), 其中\(\hat\sigma\)是\(\sigma\)的估计， \(a^{(ij)}\)为\((X^T X)^{-1}\)的\((i,j)\)元素。

例17.3 一维参数的信息阵与SE。

设总体\(X \sim p(x,\theta)\), \(\theta \in \Theta\), \(X_1, X_2, \dots, X_n\)为\(X\)的简单随机样本， \(\hat\theta\)是真值\(\theta\)的最大似然估计。 在适当正则性条件下，\(\hat\theta\)渐近正态分布， 渐近方差为\(\frac{1}{n}I^{-1}(\theta)\), \(I(\theta)\)为参数\(\theta\)的信息量(参见 (茆诗松, 王静龙, and 濮晓龙 2006) §2.5.2定理2.14): \[ \begin{aligned} I(\theta) = E \left[ \left(\frac{\partial \ln p(X, \theta)}{\partial \theta} \right)^2 \right] = \text{Var} \left(\frac{\partial \ln p(X, \theta)}{\partial \theta} \right) \end{aligned} \] 在加强的条件下还有 \[ \begin{aligned} I(\theta) = -E\left(\frac{\partial^2 \ln p(X, \theta)} {\partial \theta^2} \right) \end{aligned} \] 可以用\(\sqrt{I^{-1}(\hat\theta)/n}\)估计\(\hat\theta\)的SE。

例17.4 多维参数的信息阵与SE。

设总体\(X \sim p(x, \boldsymbol\theta)\), \(\boldsymbol\theta =(\theta_1, \ldots, \theta_m)\)， 记 \[ \begin{aligned} \boldsymbol S(\theta) =& \nabla_{\boldsymbol\theta} \ln p(X, \boldsymbol\theta) = \left(\frac{\partial \ln p(X, \boldsymbol\theta)}{\partial \theta_1}, \ldots, \frac{\partial \ln p(X, \boldsymbol\theta)}{\partial \theta_m} \right)^T, \\ I(\theta) =& \text{Var}\left( \boldsymbol S(\theta) \right), \end{aligned} \] 称\(I(\theta)\)为信息量矩阵， 其\((i,j)\)元素为 \[ \begin{aligned} \text{Cov} \left( \frac{\partial \ln p(X, \boldsymbol\theta)}{\partial \theta_i}, \frac{\partial \ln p(X, \boldsymbol\theta)}{\partial \theta_j} \right) \end{aligned} \] 在加强的条件下\(I(\theta) = -E(\nabla_{\boldsymbol\theta}^2 \ln p(X;\theta))\), \(\nabla_{\boldsymbol\theta}^2 \ln p(X;\theta)\)是\(\ln p(X, \boldsymbol\theta)\) 关于自变量\(\boldsymbol\theta\)的海色阵， 其\((i,j)\)元素为 \(\frac{\partial^2 \ln p(X, \boldsymbol\theta)}{\partial \theta_i \partial \theta_j}\)。 设\(X_1, X_2, \dots, X_n\)为\(X\)的简单随机样本， \(\hat{\boldsymbol\theta}\)为\(\boldsymbol\theta\)的最大似然估计， 在适当条件下\(\hat{\boldsymbol\theta}\)渐近正态分布\(N(\boldsymbol\theta, \frac{1}{n} I^{-1}(\boldsymbol\theta))\), 可以用\(-\frac{1}{n} [\nabla_{\boldsymbol\theta}^2 \ln p(X;\theta)]^{-1}\) 作为\(\text{Var}(\hat\theta)\)的估计。

计算参数估计的标准误差不一定总有简单的公式。 例如，需要估计的参数不一定是\(E X\)这样的简单特征， 像中位数、相关系数这样的参数估计的标准误差就比\(EX\)的估计的标准误差要困难得多。 在线性模型估计的例子中， 如果独立性、线性或者正态分布的假定不满足则求参数估计方差阵变得很困难， 比如稳健回归系数的标准误差就很难得到理论公式。 在最大似然估计问题中， 最大似然估计不一定总是渐近正态的， 信息量有时不存在或难以计算，从而无法用上面的方法给出标准误差。

设总体\(X\)服从某个未知分布\(F(x)\)， \(\boldsymbol X = (x_1, x_2, \dots, x_n)\)是\(X\)的一个样本， \(\phi\)是\(F\)的一个参数， 可以把\(\phi\)看成\(F\)的一个泛函\(\phi(F)\)， 用统计量\(\hat\phi = g(\boldsymbol X)\)估计\(\phi\)， 设\(\psi = \psi(g, F, n)\)是统计量\(\hat\phi\)的某种分布特征(\(\hat\phi\)的抽样分布的数字特征)。 例如\(\psi = \sqrt{\text{Var}(\bar X)}\)为统计量\(\bar X\)的标准误差， 又如取\(\psi = E\hat\phi - \phi\)为统计量\(\hat\phi\)的偏差。 可以用随机模拟的方法估计\(\psi\)。

用随机模拟方法估计\(\psi\)的步骤如下。

从样本\(\boldsymbol X\)估计\(\hat F\)时，可以采用参数模型， 也可以采用经验分布函数\(F_n\)。 参数模型在模型正确时效率较高； 经验分布法使用简单，基本不依赖于模型。 从经验分布\(F_n\)抽样，相当于从\(\boldsymbol X = (x_1, \ldots, x_n)\)独立有放回抽样。

估计量的标准误差可以用bootstrap方法估计。

例17.5 设\((H,W)\)为某地小学五年级学生的身高和体重的总体，\((H,W) \sim F(\cdot,\cdot)\), 考虑\(H\)和\(W\)的相关系数\(\phi\)的估计量的标准误差估计。

设调查了\(n=10\)个学生的身高和体重的数据\((h_i, w_i), i=1,2,\dots,n\): \[ \begin{array}{*9c*9c} h_i & 144 & 166 & 163 & 143 & 152 & 169 & 130 & 159 & 160 & 175 \\ \hline w_i & 38 & 44 & 41 & 35 & 38 & 51 & 23 & 51 & 46 & 51 \end{array} \] 计算得\(\hat\phi = g(h_1,w_1, \ldots, h_{n},w_{n}) = 0.904\)。 令\(\text{SE}(\hat\phi) = \left[ \text{Var}(\hat\phi) \right]^{1/2} = \psi(g,F,n)\)。 设\(\hat F\)为\(F\)的估计，取为经验分布\(F_n\)， 则bootstrap方法用随机模拟方法估计\(\psi(g, F_n, n)\)， 然后当作\(\text{SE}(\hat\phi)\)的估计。 计算步骤如下：

此例非参数bootstrap用R语言直接编程实现: