标准差：衡量单次抽样中样本的离散程度。

样本均值标准误：也就是对某个样本进行多次抽样，每次都可以计算样本均值。然后这些样本均值的标准差被称作样本均值标准误。 样本均值标准误衡量了样本均值和总体均值的差距，也就是基于当前数据得到的样本均值的可信程度。 那么对于一般统计量的标准误，也可以如此进行定义。

问题3包含了一部分统计推断的的过程。 bootstrap 是一种对一些类别的问题进行统计推断的方法。

why and when bootstrap methods works， 以及它们怎样应用在实际中。

The estimated standard error of(标准误) a mean x ˉ \bar x xˉ based on n independent data points is given by the formula: s 2 n \sqrt{\frac{s^2}{n}} ns2​ ​

where s 2 = ∑ i = 1 n ( x i − x ˉ ) 2 / ( n − 1 ) s^2 = \sum\limits_{i = 1}^{n}(x_i - \bar x)^2 / (n - 1) s2=i=1∑n​(xi​−xˉ)2/(n−1)

注：我们知道对于正态总体，样本均值 x ˉ ∼ N ( μ , σ 2 n ) \bar{x} \sim N(\mu, \frac{\sigma^2}{n}) xˉ∼N(μ,nσ2​) ,所以可以用上式来估计样本均值的标准误。

粗略的讲(对于正态总体)，一个estimator 的值在其均值加减一倍标准误之间的概率是68%，在其均值加减两倍标准误之间的概率是95%。

这种方法的缺点在于除了均值这个estimator 以外，其他的estimator 没有这样好的公式了。

如想使用中位数，一个是94， 一个是46，差是48， 那么怎么估计这两个中位数的准确度呢？

使用bootstrap！

设我们观测到独立的数据点 x ⃗ = ( x 1 , x 2 , . . . x n ) \vec{x} = (x_1, x_2, ...x_n) x =(x1​,x2​,...xn​),我们关注的统计量是 s ( x ⃗ ) s(\vec{x}) s(x )

The bootstrap estimate of standard error: 一个bootstrap 样本 x ∗ ⃗ = ( x 1 ∗ , x 2 ∗ , . . . x n ∗ ) \vec{x^*} = (x_1^*, x_2^*, ...x_n^*) x∗ =(x1∗​,x2∗​,...xn∗​)是通过独立放回取样n次得到的。

例如：n = 7，我们可能得到 x ∗ ⃗ = ( x 5 , x 7 , x 5 , x 4 , x 7 , x 3 , x 1 ) \vec{x^*} = (x_5, x_7, x_5, x_4, x_7,x_3, x_1) x∗ =(x5​,x7​,x5​,x4​,x7​,x3​,x1​)

图2.1是bootstrap 过程的流程图。bootstrap 算法从产生大量独立的bootstrap 样本 x ∗ 1 ⃗ , . . . x ∗ B ⃗ \vec{x^{*1}}, ... \vec{x^{*B}} x∗1 ,...x∗B , 每一个都有n个分量开始。对于估计标准误， B一般取50 到 200。

对应于每一个 bootstrap 样本，有一个统计量 s 的 bootstrap replication， 称为 s ( x ∗ b ) s(x^{*b}) s(x∗b)，那么可以估计出统计量 s ( x ⃗ ) s(\vec{x}) s(x )的标准误： s e b o o t = { ∑ b = 1 B [ s ( x ∗ b ⃗ ) − s ( ⋅ ) ] 2 / ( B − 1 ) } 1 2 se_{boot} = \{\sum\limits_{b = 1}^{B}[s(\vec{x^{*b}})-s(\cdot)]^2 / (B - 1)\}^{\frac{1}{2}} seboot​={b=1∑B​[s(x∗b )−s(⋅)]2/(B−1)}21​

s ( ⋅ ) = ∑ b = 1 B s ( x ∗ b ⃗ ) / B s(\cdot) = \sum\limits_{b = 1}^{B} s(\vec{x^{*b}}) / B s(⋅)=b=1∑B​s(x∗b )/B

以下是样本均值和中位数的标准误的bootstrap估计。

bootstrap 方法通过自采样解决了小样本问题中统计量的标准误的估计问题。

标准误是衡量统计量的精确度的最简单的标准，后面的chapter会展示如何评价更加精确的度量标准， 如biases，predicton errors， confidence intervals。