数理统计复习笔记三——点估计介绍了若干点估计的方法和准则，本文介绍区间估计。

区间估计是介于估计和检验之间的内容，且区间估计与检验紧密相连，因此有的也把区间估计看作是检验的一种。

设 X 1 , ⋯   , X n X_1, \cdots, X_n X1​,⋯,Xn​为来自分布族 F = { f ( x , θ ) , θ ∈ Θ } \mathcal F=\{f(x,\theta), \theta\in\Theta\} F={f(x,θ),θ∈Θ}的样本， θ \theta θ为一维未知参数。如果 θ ^ L ( X ) \hat\theta_L(\bm X) θ^L​(X)， θ ^ U ( X ) \hat\theta_U(\bm X) θ^U​(X)为两个统计量，且 θ ^ L ( X ) ≤ θ ^ U ( X ) \hat\theta_L(\bm X)\le \hat\theta_U(\bm X) θ^L​(X)≤θ^U​(X)，则称随机区间 [ θ ^ L ( X ) , θ ^ U ( X ) ] [\hat\theta_L(\bm X), \hat\theta_U(\bm X)] [θ^L​(X),θ^U​(X)]为 θ \theta θ的一个区间估计。

既然是估计，就应该有一个好坏的衡量指标。

当参数的真值为 θ \theta θ时，随机区间 [ θ ^ L ( X ) , θ ^ U ( X ) ] [\hat\theta_L(\bm X), \hat\theta_U(\bm X)] [θ^L​(X),θ^U​(X)]包含 θ \theta θ的概率 P θ { [ θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) ] } P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\} Pθ​{[θ^L​(X)≤θ≤θ^U​(X)]}就称为置信水平或置信度。

对于一个区间估计来说，肯定希望置信水平或置信度越大越好。由于这个置信水平依赖于参数真值，故我们自然希望对于参数空间 Θ \Theta Θ中的每一个 θ \theta θ，其置信水平都很大。

设随机区间 [ θ ^ L ( X ) , θ ^ U ( X ) ] [\hat\theta_L(\bm X), \hat\theta_U(\bm X)] [θ^L​(X),θ^U​(X)]为 θ \theta θ的一个区间估计，则称 inf ⁡ θ ∈ Θ P θ { [ θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) ] } \inf_{\theta\in\Theta}P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\} θ∈Θinf​Pθ​{[θ^L​(X)≤θ≤θ^U​(X)]}为该区间估计的置信系数。

设 [ θ ^ L ( X ) , θ ^ U ( X ) ] [\hat\theta_L(\bm X), \hat\theta_U(\bm X)] [θ^L​(X),θ^U​(X)]是参数 θ \theta θ的一个区间估计，如果对给定的 α ∈ ( 0 , 1 ) \alpha\in(0, 1) α∈(0,1)，有 P θ { [ θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) ] } ≥ 1 − α , ∀ θ ∈ Θ (2) P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\}\ge1-\alpha , \forall\theta\in\Theta\tag{2} Pθ​{[θ^L​(X)≤θ≤θ^U​(X)]}≥1−α,∀θ∈Θ(2) 则称 [ θ ^ L ( X ) , θ ^ U ( X ) ] [\hat\theta_L(\bm X), \hat\theta_U(\bm X)] [θ^L​(X),θ^U​(X)]为 θ \theta θ的置信水平为 1 − α 1-\alpha 1−α的置信区间， θ ^ L ( X ) \hat\theta_L(\bm X) θ^L​(X)， θ ^ U ( X ) \hat\theta_U(\bm X) θ^U​(X)分别称为置信下限和置信上限。

实际中也称满足 P θ { [ θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) ] } = 1 − α P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\}=1-\alpha Pθ​{[θ^L​(X)≤θ≤θ^U​(X)]}=1−α的区间估计为置信区间

详见杂记——贝叶斯可信区间与频率置信区间的区别

有时人们感兴趣的指标是望大或望小指标（指标越大/小越好）。

设 θ ^ L ( X ) \hat\theta_L(\bm X) θ^L​(X)， θ ^ U ( X ) \hat\theta_U(\bm X) θ^U​(X)为两个统计量，对给定的 α ∈ ( 0 , 1 ) \alpha\in(0, 1) α∈(0,1)，有 P θ { θ ^ L ( X ) ≤ θ } ≥ 1 − α , ∀ θ ∈ Θ (3) P_\theta\{\hat\theta_L(\bm X)\le\theta\}\ge1-\alpha, \forall\theta\in\Theta\tag{3} Pθ​{θ^L​(X)≤θ}≥1−α,∀θ∈Θ(3) P θ { θ ^ U ( X ) ≥ θ } ≥ 1 − α , ∀ θ ∈ Θ (4) P_\theta\{\hat\theta_U(\bm X)\ge\theta\}\ge1-\alpha, \forall\theta\in\Theta\tag{4} Pθ​{θ^U​(X)≥θ}≥1−α,∀θ∈Θ(4) 则分别称 θ ^ L ( X ) \hat\theta_L(\bm X) θ^L​(X)与 θ ^ U ( X ) \hat\theta_U(\bm X) θ^U​(X)为 θ \theta θ的置信水平为 1 − α 1-\alpha 1−α的单侧置信下限和单侧置信上限。

与双侧置信限的关系：

设 θ ^ L ( X ) \hat\theta_L(\bm X) θ^L​(X)与 θ ^ U ( X ) \hat\theta_U(\bm X) θ^U​(X)为 θ \theta θ的置信水平为 1 − α 1 1-\alpha_1 1−α1​和 1 − α 2 1-\alpha_2 1−α2​的单侧置信下限和单侧置信上限，且 θ ^ L ( X ) ≤ θ ^ U ( X ) \hat\theta_L(\bm X)\le \hat\theta_U(\bm X) θ^L​(X)≤θ^U​(X)，则 [ θ ^ L ( X ) , θ ^ U ( X ) ] [\hat\theta_L(\bm X), \hat\theta_U(\bm X)] [θ^L​(X),θ^U​(X)]是 θ \theta θ的置信水平为 1 − ( α 1 + α 2 ) 1-(\alpha_1+\alpha_2) 1−(α1​+α2​)的置信区间。

设 X 1 , ⋯   , X n X_1, \cdots, X_n X1​,⋯,Xn​为来自分布族 F = { f ( x , θ ) , θ ∈ Θ ⊆ R k } \mathcal F=\{f(x,\theta), \theta\in\Theta\subseteq\bm R^k\} F={f(x,θ),θ∈Θ⊆Rk}的样本， θ = ( θ 1 , ⋯   , θ k ) T \theta=(\theta_1,\cdots,\theta_k)^T θ=(θ1​,⋯,θk​)T，如果统计量 S ( X ) S(\bm X) S(X)满足

求取参数的置信区间的方法有很多，本文主要介绍最常用的枢轴量法，尤其是对于连续型分布族。

记 Φ ( x ) \Phi(x) Φ(x)和 ϕ ( x ) \phi(x) ϕ(x)分别表示标准正态分布 N ( 0 , 1 ) N(0, 1) N(0,1)的 C D F CDF CDF和 P D F PDF PDF，且用满足方程 Φ ( u α ) = 1 − α (5) \Phi(u_\alpha)=1-\alpha\tag{5} Φ(uα​)=1−α(5)的 u α u_\alpha uα​表示标准正态分布的上侧 α \alpha α分位数，如下图 类似的，用 χ α 2 ( n ) \chi_\alpha^2(n) χα2​(n)， t α ( n ) t_\alpha(n) tα​(n)， F α ( m , n ) F_\alpha(m, n) Fα​(m,n)表示 χ 2 ( n ) \chi^2(n) χ2(n)， t ( n ) t(n) t(n)， F ( m , n ) F(m, n) F(m,n)的上侧 α \alpha α分位数。

第2步寻找枢轴量最关键

例子：

设 X 1 , ⋯   , X n X_1, \cdots, X_n X1​,⋯,Xn​为来自正态总体 N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2)的 I I D IID IID样本， μ , σ 2 \mu, \sigma^2 μ,σ2均未知，试求 μ \mu μ的置信水平为 1 − α 1-\alpha 1−α的置信区间。

枢轴量法更适用于连续性随机变量，对于离散型随机变量，并不容易操作，其原因在于给定的 α \alpha α，一般不存在确切的分位点。

例子：

设 X 1 , ⋯   , X n X_1,\cdots,X_n X1​,⋯,Xn​为来自伯努利分布 b ( 1 , p ) b(1,p) b(1,p)的 I I D IID IID样本，试求 p p p的置信水平为 1 − α 1-\alpha 1−α的置信区间。

关键还是找枢轴量。

我们知道 1 n ∑ i = 1 n X i \frac{1}{n}\sum\limits_{i=1}^nX_i n1​i=1∑n​Xi​是 p p p的一个很好的估计，那么枢轴量应该与 T n = ∑ i = 1 n X i T_n=\sum\limits_{i=1}^nX_i Tn​=i=1∑n​Xi​有关。而 T n ∼ B ( n , p ) T_n\sim B(n, p) Tn​∼B(n,p)，其分布与 p p p有关，所以不能直接把 T n T_n Tn​作为枢轴量。

但由中心极限定理可知，当 n → ∞ n\to\infty n→∞时， T n − n p n p ( 1 − p ) ∼ N ( 0 , 1 ) (7) \frac{T_n-np}{\sqrt{np(1-p)}}\sim N(0, 1)\tag{7} np(1−p) ​Tn​−np​∼N(0,1)(7) 即当 n n n充分大时，我们有 P { T n − n p n p ( 1 − p ) < x } = Φ ( x ) (8) P\{\frac{T_n-np}{\sqrt{np(1-p)}}\lt x\}=\Phi(x)\tag8 P{np(1−p) ​Tn​−np​F1−α/2​(m−1,n−1)≤S2n2​/σ22​S1m2​/σ12​​≤Fα/2​(m−1,n−1)}(18) 进而可得置信区间为 [ S 1 m 2 / S 2 n 2 F α / 2 ( m − 1 , n − 1 ) , S 1 m 2 / S 2 n 2 F 1 − α / 2 ( m − 1 , n − 1 ) ] (19) [\frac{S_{1m}^2/S_{2n}^2}{F_{\alpha/2}(m-1,n-1)}, \frac{S_{1m}^2/S_{2n}^2}{F_{1-\alpha/2}(m-1,n-1)}]\tag{19} [Fα/2​(m−1,n−1)S1m2​/S2n2​​,F1−α/2​(m−1,n−1)S1m2​/S2n2​​](19)