赤壁赋

寄蜉蝣于天地，渺沧海之一粟。哀吾生之须臾，羡长江之无穷。挟飞仙以遨游，抱明月而长终。

我们身处的浩瀚宇宙当中，原子的数目小于 \(10^{82}\) 个。尽管这是一个天文数字，但物理世界将它限定为一个有限的数字。相反，数学思想并不受制于现实。 渐进理论(asymptotic theory) 是一门有关无限的艺术，它研究统计量在样本量趋于无穷大之时的性质与行为。它用一系列“近似”操作来简化复杂的有限样本问题，超越了有限样本理论所涵盖范围，揭示了在更普遍情况下的估计与推断理论。

然而现实与理想相悖：我们手中的样本量总是有限的，而且在大多数情况下，我们难以扩大样本。渐近理论虽然研究无穷大，却不能准确回答“多大才是大”这个问题。因此，我们必须警惕 渐近乌托邦 (asymptopia) 的出现。在大数据时代，尽管数据的规模急剧膨胀，同时我们希望建立复杂的模型来更好地捕捉数据的异质性。大样本是一个相对的概念，依赖于模型的复杂性和数据的生成过程。

一方面，经典的参数化方法建立在难以验证的参数假设之上。另一方面，渐进理论以假想的无限序列为前提。可以说，二者都偏离了现实。哪种方法更有建设性？我们只能根据具体情况来判断。渐进理论的优点在于它数学上的普遍性与易操作性。它是现代统计理论的基石。

首先回顾一下什么是非随机序列的收敛.

定义 6.1 (非随机序列的收敛)

假设 \(z_{1}, z_{2}, \ldots\) 是一个非随机的无限序列。如果对于任意 \(\varepsilon>0\), 存在 \(N\left(\varepsilon\right)\) 使得：对于所有 \(n>N\left(\varepsilon\right)\), 都有 \(\left|z_{n}-z\right|0\), 当 \(n\to\infty\) 时，都有 \(P\left\{ \omega:\left|z_{n}\left(\omega\right)-z\right|\varepsilon\right\}\) 与 \(E\left[\left(z_{n}-z\right)^{2}\right]\) 都是非随机的。它们依非随机序列的收敛方式 (定义6.1) 趋近于0。

注意，均方收敛的假设比依概率收敛的假设更强。也就是说，可以从 \(z_{n}\stackrel{m. s. }{\to}z\) 推导出 \(z_{n}\stackrel{p}{\to}z\) ，但反之不成立. 下面是一个例子。

例子 6.1

\((z_{n})\) 是一个随机变量序列: \(z_{n}=\sqrt{n}\) 的概率为 \(1/n\), \(z_{n}=0\) 的概率为 \(1-1/n\). 那么 \(z_{n}\stackrel{p}{\to}0\) ，但 \(z_{n}\stackrel{m. s. }{\nrightarrow}0.\)

Proof. 注意到，对于任意 \(\varepsilon>0\), \(P\left(\omega:\left|z_{n}\left(\omega\right)-0\right|\varepsilon}dF_{X}=\varepsilon^{r}P\left\{ \left|x\right|>\varepsilon\right\} , \end{aligned} \end{split}\]

重新排列此不等式，即可得到Markov不等式。

接下来我们推导Chebyshev大数定律。

假设 部分和 (partial sum) \(S_{n}=\sum_{i=1}^{n}x_{i}\) ，同时记 \(\mu_{i}=E\left[x_{i}\right]\) ， \(\sigma_{i}^{2}=\mathrm{var}\left[x_{i}\right]\) 。

对样本均值 \(z_{n}=\overline{x}-\bar{\mu}=n^{-1}\left(S_{n}-E\left[S_{n}\right]\right)\) 运用 Chebyshev 不等式，得到

当 \(n\to\infty\) 时，右式趋近于0，那么 \(z_{n}\) 依概率收敛至0。比如，若 \(x_{1}, \ldots, x_{n}\) 是 iid 变量， \(\mathrm{var}\left(x_{1}\right)=\sigma^{2}\) ，那么 (6.1) 右式 \(\left(n\varepsilon\right)^{-2}\left(n\sigma^{2}\right)=O \left(n^{-1}\right)\to0\) 。

至此，我们已经得到了Chebyshev大数定律。

定理 6.3 (Chebyshev大数定律)

如果 \(\left(z_{1}, \ldots, z_{n}\right)\) 是独立同分布 (iid) 的随机样本， \(E\left[z_{1}\right]=\mu\), \(\sigma^{2}=\mathrm{var}\left[z_{1}\right]0\)是常数。利用 Chebyshev 不等式，证明 \(n^{-1}\sum_{i=1}^{n}x_{i}\stackrel{p}{\to}0\) 。

练习 6.3

考虑一组时间序列的移动平均 (MA) 模型 \(x_{i}=\varepsilon_{i}+\theta\varepsilon_{i-1}\), \(i=1, \ldots, n\) 。其中， \(\left|\theta\right|