尽管统计学本身是门科学，我们也在纯数学的角度上研究了很多概率的性质。但是也不能否认统计学中依然有相当多经验总结。而且相当多的经验是行之有效的。在《概率论与数理统计》这本教材中，也列举了一些经验性的东西，因此我们也需要来学习一下。

我们来看一看切比雪夫不等式，有两个：

P { ∣ X − E ( X ) ∣ ≤ ε } ≥ 1 − D ( X ) ε 2 P \{ |X - E(X)| \leq \varepsilon \} \geq 1 - \frac{D(X)}{\varepsilon ^ 2} P{∣X−E(X)∣≤ε}≥1−ε2D(X)​

P { ∣ X − E ( X ) ∣ > ε } ≤ D ( X ) ε 2 P \{ |X - E(X)| > \varepsilon \} \leq \frac{D(X)}{\varepsilon ^ 2} P{∣X−E(X)∣>ε}≤ε2D(X)​

那么，它们表达什么含义呢？

对于随机事件，如果它服从一定的分布，就会发现随机事件会以极大的概率落入一个或者两个标准差之内。换言之，对于概率事件，如果取一个范围 [ − ε , + ε ] [- \varepsilon, + \varepsilon] [−ε,+ε]，那么落入这个范围以内的概率为 1 − D ( X ) ε 2 1 - \frac{D(X)}{\varepsilon ^ 2} 1−ε2D(X)​，超过这个范围的概率是 D ( X ) ε 2 \frac{D(X)}{\varepsilon ^ 2} ε2D(X)​。

从切比雪夫不等式出发，我们发现之所以切比雪夫不等式成立，其中一个很重要的原因就是因为同分布独立的概率事件，其期望值总是固定且相等。同样的，我们发现当对随机事件大量实验后，会发现随机事件A随着实验次数增大时总会呈现出某种稳定性，即朝着某个常数（通常即期望）收敛，而这就是所谓的大数定理。

上图清楚的表明，随着样本的增加，噪音逐渐减少，其样本值逐渐收敛到期望值。所以，从经验和大量的实验结果统计表明：

X n ‾ = 1 n ( X 1 + ⋯ + X n ) \overline{X_n} = \frac{1}{n}(X_1 + \cdots + X_n) Xn​​=n1​(X1​+⋯+Xn​)

当 n → ∞ n \rightarrow \infty n→∞ 时， X n ‾ → μ \overline{X_n} \rightarrow \mu Xn​​→μ。要满足这个结果的限制条件，就有如下几条：

那么关于如何描述大数定理，目前数学界主要给出了三种

弱大数定理（辛钦大数定理）

对于独立、同分布的随机序列 X 1 X_1 X1​， X 2 X_2 X2​ ⋯ \cdots ⋯ X n X_n Xn​，只要总体均值 μ \mu μ 存在，那么样本均值 X ‾ = 1 n ∑ X i \overline{X} = \frac{1}{n}\sum X_i X=n1​∑Xi​ 会随着n增大而收敛到总体均值 μ \mu μ。

强大数定理

对于独立、同分布的随机序列 X 1 X_1 X1​， X 2 X_2 X2​ ⋯ \cdots ⋯ X n X_n Xn​，只要总体均值 μ \mu μ 存在，那么样本均值 X ‾ = 1 n ∑ X i \overline{X} = \frac{1}{n}\sum X_i X=n1​∑Xi​ 会随着n增大而处处收敛到 μ \mu μ。

切比雪夫大数定理

连续随机变量 X i X_i Xi​两两独立，且存在期望 E ( X ) = μ E(X) = \mu E(X)=μ，方差存在且有共同有界上限 D ( X ) = σ 2 < M D(X) = \sigma^2 < M D(X)=σ2 0 \varepsilon > 0 ε>0，令 l i m n → ∞ P { ∣ 1 n ∑ ( X i − μ i ) ∣ < ε } = 1 lim_{n \rightarrow \infty} P \{ |\frac{1}{n} \sum (X_i - \mu_i) | < \varepsilon \} = 1 limn→∞​P{∣n1​∑(Xi​−μi​)∣ 0 \sigma^2 > 0 σ2>0。那么这样的数列近似服从正态分布：

∑ i = 1 n X i − n μ n σ ∼ N ( n μ , n σ 2 ) \frac{ \sum_{i=1}^n X_i - n\mu}{\sqrt{n} \sigma} \sim N(n \mu, n \sigma^2) n ​σ∑i=1n​Xi​−nμ​∼N(nμ,nσ2)

如果对上式子上下同时 1 n \frac{1}{n} n1​，就可以令

1 n ∑ i = 1 n X i − μ σ / n ∼ N ( μ , σ 2 ) \frac{ \frac{1}{n}\sum_{i=1}^n X_i - \mu}{\sigma / \sqrt{n}} \sim N( \mu, \sigma^2) σ/n ​n1​∑i=1n​Xi​−μ​∼N(μ,σ2)

即：

lim ⁡ n → ∞ P { ∑ i = 1 n X i − n μ n σ ≤ x } ≈ Φ ( x ) ∼ N ( μ , σ 2 ) \lim_{n \rightarrow \infty} P\{ \frac{ \sum_{i=1}^n X_i - n\mu}{\sqrt{n} \sigma} \leq x \} \approx \Phi(x) \sim N( \mu, \sigma^2) n→∞lim​P{n ​σ∑i=1n​Xi​−nμ​≤x}≈Φ(x)∼N(μ,σ2)

使得上式近似的变成一个标准正态分布。即，当n充分大的时候，我们可以用标准正态分布给出其近似分布。

另外，针对中心极限定理，一般通常情况下会问一个范围内是多少概率的问题，所以通常会把这类问题转换为标准正态分布来求解 N～ ( μ = 0 (\mu = 0 (μ=0, σ = 1 ) \sigma = 1) σ=1)，正态分布的数学符号通常表示为 Φ \Phi Φ。

所以有：

P { a < ∑ i = 1 n X i < b } ≈ Φ ( b − n μ n σ ) − Φ ( a − n μ n σ ) P\{ a a