极限理论的意义主要在于两方面：

例 1：考虑对于位置参数的经典t检验：给定一个 i . i . d . i.i.d. i.i.d.的样本 X 1 ， X 2 ， … ， X_1，X_2，…， X1​，X2​，…，均值 μ = E ( X 1 ) \mu=E(X_1) μ=E(X1​)，我们希望检验 H 0 ： μ = μ 0 H_0：\mu=\mu_0 H0​：μ=μ0​。

sup ⁡ x ∣ P { n ( X ˉ n − μ ) S n ≤ x } − Φ ( x ) ∗ ∣ → 0 \sup _{x}\left|\mathrm{P}\left\{\frac{\sqrt{n}\left(\bar{X}_{n}-\mu\right)}{S_{n}} \leq x\right\}-\Phi(x)^{*}\right| \rightarrow 0 xsup​∣∣∣∣∣​P{Sn​n ​(Xˉn​−μ)​≤x}−Φ(x)∗∣∣∣∣∣​→0

这时可以构造渐进水平为 α \alpha α的检验：当 ∣ n ( X ˉ n − μ 0 ) S n ∣ > z α / 2 |\frac{\sqrt{n}(\bar X_n-\mu_0)}{S_n}|>z_{\alpha/2} ∣Sn​n ​(Xˉn​−μ0​)​∣>zα/2​时，拒绝原假设 H 0 H_0 H0​ 。

例 2：考虑参数 θ \theta θ的极大似然估计 θ ^ n \hat{\theta}_n θ^n​，其中记总体密度函数为 f θ , θ ∈ R p f_\theta,\theta\in \mathbb{R}^p fθ​,θ∈Rp。由后面的定理可知 n ( θ ^ n − θ ) \sqrt{n}(\hat{\theta}_n-\theta) n ​(θ^n​−θ)具有渐进分布 N ( 0 , I θ ) N(0,\boldsymbol I_\theta) N(0,Iθ​),其中 I θ = E ( ∂ log ⁡ f θ ∂ θ ∂ log ⁡ f θ ∂ θ ⊤ ) \boldsymbol{I}_{\boldsymbol{\theta}}=\mathrm{E}\left(\frac{\partial \log f_{\theta}}{\partial \boldsymbol{\theta}} \frac{\partial \log f_{\theta}}{\partial \boldsymbol{\theta}^{\top}}\right) Iθ​=E(∂θ∂logfθ​​∂θ⊤∂logfθ​​)，为Fisher信息阵。由此可以构造参数 θ \theta θ置信水平渐进为 1 − α 1-\alpha 1−α的置信域： { θ : ( θ − θ ^ n ) ⊤ I θ ^ n ( θ − θ ^ n ) ≤ χ p , α 2 n } \left\{\boldsymbol{\theta}:\left(\boldsymbol{\theta}-\widehat{\boldsymbol{\theta}}_{n}\right)^{\top} \boldsymbol{I}_{\hat{\theta}_{n}}\left(\boldsymbol{\theta}-\widehat{\boldsymbol{\theta}}_{n}\right) \leq \frac{\chi_{p, \alpha}^{2}{ }}{n}\right\} {θ:(θ−θ n​)⊤Iθ^n​​(θ−θ n​)≤nχp,α2​​}

概率空间 ( Ω , F , P ) (\Omega, \mathcal{F}, \mathrm{P}) (Ω,F,P)

随机变量 X ( w ) X(w) X(w) : 从 Ω \Omega Ω 到实数域 R \mathbb{R} R 的映射

随机向量： X = ( X 1 , X 2 , … , X p ) ⊤ \boldsymbol{X}=\left(X_{1}, X_{2}, \ldots, X_{p}\right)^{\top} X=(X1​,X2​,…,Xp​)⊤ ,其中 X i X_i Xi​为定义在 ( Ω , F ) (\Omega, \mathcal{F}) (Ω,F)的随机变量

定义在 R p \mathbb{R}^p Rp上的右连续分布函数： F X ( x ) = P ( { w : X ( w ) ≤ x } ) , ∀ x ∈ R p F_{\boldsymbol{X}}(\boldsymbol{x})=\mathrm{P}(\{w: \boldsymbol{X}(w) \leq \boldsymbol{x}\}),\forall x \in \mathbb{R}^{p} FX​(x)=P({w:X(w)≤x}),∀x∈Rp

对于两随机向量 X \boldsymbol{X} X 和 Y \boldsymbol{Y} Y,如果它们的分布函数相同，即 F X = F Y F_{X}=F_{Y} FX​=FY​，则称随机向量 X \boldsymbol{X} X 和 Y \boldsymbol{Y} Y依分布相同

定义2.1： 设 X 1 , X 2 , ⋯   , X n X_1,X_2,\cdots ,X_n X1​,X2​,⋯,Xn​和 X X X为定义在 ( Ω , F , P ) (\Omega, \mathcal{F}, \mathrm{P}) (Ω,F,P)上的随机向量。如果 lim ⁡ n → ∞ P ( ∣ X n − X ∣ > ϵ ) = 0 , ∀ ϵ > 0 \lim_{n\rightarrow \infty}\mathrm{P}\left(\left|X_{n}-X\right|>\epsilon\right) = 0, \forall \epsilon>0 n→∞lim​P(∣Xn​−X∣>ϵ)=0,∀ϵ>0 则称 X n X_n Xn​依概率收敛到 X X X，通常记作 X n → p X , n → ∞ X_{n} \stackrel{p}{\rightarrow} X, n \rightarrow \infty Xn​→pX,n→∞

注：

如果 ∥ X n − X ∥ → p 0 \left\|\boldsymbol{X}_{n}-\boldsymbol{X}\right\| \stackrel{p}{\rightarrow} 0 ∥Xn​−X∥→p0,则 X n → p X \boldsymbol{X}_{n} \stackrel{p}{\rightarrow} \boldsymbol{X} Xn​→pX

定义2.2: 设 X 1 , X 2 , ⋯   , X n X_1,X_2,\cdots ,X_n X1​,X2​,⋯,Xn​和 X X X为定义在 ( Ω , F , P ) (\Omega, \mathcal{F}, \mathrm{P}) (Ω,F,P)上的随机向量。如果 P ( lim ⁡ n → ∞ ∣ X n − X ∣ = 0 ) = 1 \mathrm{P}\left(\lim _{n \rightarrow \infty}\left|X_{n}-X\right|=0\right)=1 P(n→∞lim​∣Xn​−X∣=0)=1 则称 X n X_n Xn​几乎处处收敛到 X X X，通常记作 X n → w p 1 X , n → ∞ X_{n} \stackrel{wp1}{\rightarrow} X, n \rightarrow \infty Xn​→wp1X,n→∞

注：

几乎处处收敛强于依概率收敛

随机向量的几乎处处收敛    ⟺    \iff ⟺依分量收敛

几乎处处收敛的等价刻画： lim ⁡ n → ∞ P ( ∣ X m − X ∣ ≤ ϵ ,  all  m ≥ n ) = 1 , ∀ ϵ > 0 \lim _{n \rightarrow \infty} \mathrm{P}\left(\left|X_{m}-X\right| \leq \epsilon, \text { all } m \geq n\right)=1, \forall \epsilon>0 n→∞lim​P(∣Xm​−X∣≤ϵ, all m≥n)=1,∀ϵ>0

定义2.3：设 X 1 , X 2 , ⋯   , X n X_1,X_2,\cdots ,X_n X1​,X2​,⋯,Xn​和 X X X为定义在 ( Ω , F , P ) (\Omega, \mathcal{F}, \mathrm{P}) (Ω,F,P)上的随机向量。如果对于 r > 0 r>0 r>0 lim ⁡ n → ∞ E ∣ X n − X ∣ r = 0 \lim _{n \rightarrow \infty} \mathrm{E}\left|X_{n}-X\right|^{r}=0 n→∞lim​E∣Xn​−X∣r=0 则称 X n X_n Xn​r阶矩收敛到 X X X，通常记作 X n → r t h X , n → ∞ X_{n} \stackrel{rth}{\rightarrow} X, n \rightarrow \infty Xn​→rthX,n→∞

注：

定义2.5：若 ∀ ϵ > 0 , ∃ M ϵ \forall \epsilon>0,\exist M_{\epsilon} ∀ϵ>0,∃Mϵ​和 N ϵ N\epsilon Nϵ使得 P ( ∣ X n ∣ > M ϵ ) < ϵ P(|X_n|>M_\epsilon)Mϵ​) M ϵ n>M_\epsilon n>Mϵ​均成立，则称 { X n } \{X_n\} {Xn​}依概率有界,记作 X n = O p ( 1 ) X_n=O_p(1) Xn​=Op​(1)

定理（Prohorov）：

X n → d X ⇒ X n = O p ( 1 ) X_{n} \stackrel{d}{\rightarrow} X \Rightarrow X_{n}=O_{p}(1) Xn​→dX⇒Xn​=Op​(1)

若 X n = O p ( 1 ) X_{n}=O_{p}(1) Xn​=Op​(1), 则存在子列 { X n i } \{X_{n_i}\} {Xni​​}和随机变量 X X X,使得 X n i → d X X_{n_{i}} \stackrel{d}{\rightarrow} X Xni​​→dX , i → ∞ i\rightarrow \infty i→∞

定义2.6：若 X n → p 0 X_{n} \stackrel{p}{\rightarrow} 0 Xn​→p0, 则记作 X n = o p ( 1 ) X_{n}=o_{p}(1) Xn​=op​(1)。

连续映射定理：令 g : R p ↦ R m g: \mathbb{R}^{p} \mapsto \mathbb{R}^{m} g:Rp↦Rm为在集合 C C C中几乎处处连续的映射。如果 X n X_n Xn​依概率/几乎处处收敛/依分布收敛到 X X X，则 g ( X n ) g(X_n) g(Xn​)依概率/几乎处处收敛/依分布收敛到 g ( X ) g(X) g(X)

引理：如果 X n → d X X_{n} \stackrel{d}{\rightarrow} X Xn​→dX 且 Y n − X n → p 0 Y_{n}-X_{n} \stackrel{p}{\rightarrow} 0 Yn​−Xn​→p0, 则 Y n → d X Y_{n} \stackrel{d}{\rightarrow} X Yn​→dX

Slutsky定理：令 X n → d X X_{n} \stackrel{d}{\rightarrow} X Xn​→dX 且 Y n → p c Y_{n} \stackrel{p}{\rightarrow} c Yn​→pc, 其中 c c c 为常数。则： (i) X n + Y n → d X + c X_{n}+Y_{n} \stackrel{d}{\rightarrow} X+c Xn​+Yn​→dX+c (ii) X n Y n → d c X X_{n} Y_{n} \stackrel{d}{\rightarrow} c X Xn​Yn​→dcX (iii) Y n − 1 X n → d c − 1 X Y_{n}^{-1} X_{n} \stackrel{d}{\rightarrow} c^{-1} X Yn−1​Xn​→dc−1X ，其中 c ≠ 0 c \neq 0 c​=0