欢迎访问个人网络日志🌹🌹知行空间🌹🌹

我们常见的应用中，样本均值是对总体均值的无偏估计 E ( X ˉ ) = μ E(\bar{X})=\mu E(Xˉ)=μ，而样本的整体方差不是对总体方差的无偏估计, E ( S 2 ) = n n − 1 σ 2 E(S^2)=\frac{n}{n-1}\sigma^2 E(S2)=n−1n​σ2。

“似然”用现代的中文来说即“可能性”，因此可称之为“最大可能性估计”，用来求一个样本集的相关概率密度函数的参数。

定义,假设 X X X为离散随机变量，其概率分布函数 P ( X = x ) = f ( x ; θ ) P(X=x)=f(x;\theta) P(X=x)=f(x;θ),与参数 θ \theta θ相关。设 X 1 , . . . , X n X_1,...,X_n X1​,...,Xn​为样本， x 1 , . . . , x n x_1,...,x_n x1​,...,xn​为样本的观测值，样本的似然函数可以定义为样本观测值 x 1 , . . . , x n x_1,...,x_n x1​,...,xn​的概率，

L ( x 1 , . . . , x n ; θ ) = P ( X = x 1 , . . . , X n = x n ) = ∏ i = 1 n f ( x i ; θ ) L(x_1,...,x_n;\theta)=P(X=x_1,...,X_n=x_n)=\prod_{i=1}^{n}f(x_i;\theta) L(x1​,...,xn​;θ)=P(X=x1​,...,Xn​=xn​)=i=1∏n​f(xi​;θ)

给定样本观测值 x 1 , . . . , x n x_1,...,x_n x1​,...,xn​，似然函数 L L L是参数 θ \theta θ的函数，这个函数的目的就是求参数 θ \theta θ,使似然函数 L L L能取最大值。

例如, X ∼ B ( 1 , p ) X\sim B(1,p) X∼B(1,p),从中取 [ 1 , 1 , 0 , 0 , 1 ] [1,1,0,0,1] [1,1,0,0,1]观测值，此时似然函数 L ( p ) = p 3 ( 1 − p ) 2 , p ∈ ( 0 , 1 ) L(p)=p^3(1-p)^2,p\in(0,1) L(p)=p3(1−p)2,p∈(0,1), B B B表示是贝努力分布，要求 p p p,就是求能使 L ( p ) L(p) L(p)取最大值的值， d L d p = 0 \frac{dL}{dp}=0 dpdL​=0,可求得 p = 0.6 p=0.6 p=0.6。

定义：设 X 1 , . . . , X n X_1,...,X_n X1​,...,Xn​是独立同分布的随机变量序列，并且其数学期望 E ( X k ) = μ ( k = 1 , 2 , . . . ) E(X_k)=\mu (k=1,2,...) E(Xk​)=μ(k=1,2,...)，取n个样本的算术平均 1 n ∑ k = 1 n X k \frac{1}{n}\sum\limits_{k=1}^{n}X_k n1​k=1∑n​Xk​,对任意的 ϵ > 0 \epsilon\gt 0 ϵ>0有以下不等式成立：

lim ⁡ n → + ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ϵ } = 1 \lim_{n\rightarrow+\infty}P\{|\frac{1}{n}\sum\limits_{k=1}^{n}X_k-\mu|\lt \epsilon\}=1 n→+∞lim​P{∣n1​k=1∑n​Xk​−μ∣ 0 ( k = 1 , 2 , . . . ) E(X_k)=\mu,D(X_k)=\sigma^2\gt0(k=1,2,...) E(Xk​)=μ,D(Xk​)=σ2>0(k=1,2,...)则随机变量之和 ∑ i = 1 n X k \sum\limits_{i=1}^{n}X_k i=1∑n​Xk​的标准化变量：

Y n = ∑ k = 1 n X k − n μ n σ Y_n=\frac{\sum\limits_{k=1}^{n}X_k-n\mu}{\sqrt{n}\sigma} Yn​=n ​σk=1∑n​Xk​−nμ​ 服从于标准正态分布。

简单来说就是，样本均值服从于期望为总体均值 μ \mu μ,方差为总体方差除以样本数 σ 2 n \frac{\sigma^2}{n} nσ2​的正态分布，即 X ˉ ∼ N ( μ , σ 2 / n ) \bar{X}\sim N(\mu, \sigma^2/n) Xˉ∼N(μ,σ2/n)

给定一组观测数据 x 1 , . . . , x n x_1,...,x_n x1​,...,xn​,计算其总体方差时使用如下公式：

S 2 = 1 n ∑ i = 1 n ( x i − x ˉ ) 2 S^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2 S2=n1​i=1∑n​(xi​−xˉ)2

x ˉ \bar{x} xˉ是样本均值。从上式可以看到，总体方差是样本观测值偏离样本均值误差平方的均值，其衡量了数据的离散程度，方差越大越离散。

从一个连续分布中随机取样得到一组观测值为 x 1 , . . . , x n x_1,...,x_n x1​,...,xn​,想要通过观测值估计连续分布的方差，一种自然的想法是使用样本观测值的总体方差 S 2 S^2 S2做为连续分布方差 σ 2 \sigma^2 σ2的无偏估计，即假设

σ 2 = E [ S 2 ] = E [ 1 n ∑ i = 1 n ( x i − x ˉ ) 2 ] = E [ 1 n ∑ i = 1 n ( x i − μ + μ − x ˉ ) 2 ] = E [ 1 n ∑ i = 1 n [ ( x i − μ ) − ( x ˉ − μ ) ] 2 ] = E [ 1 n ∑ i = 1 n [ ( x i − μ ) 2 + ( μ − x ˉ ) 2 − 2 ( x i − μ ) ( x ˉ − μ ) ] ] = 1 n ∑ i = 1 n E [ ( x i − μ ) 2 ] + 1 n ∑ i = 1 n E [ ( μ − x ˉ ) 2 ] − 2 n ∑ i = 1 n E [ ( x i − μ ) ( x ˉ − μ ) ] = 1 n ∑ i = 1 n v a r [ x i ] + 1 n ∑ i = 1 n v a r [ x ˉ ] − 2 n ∑ i = 1 n E [ ( x i − μ ) ( x ˉ − μ ) ] = 1 n ∑ i = 1 n σ 2 + 1 n ∑ i = 1 n σ 2 n − 2 n ∑ i = 1 n E [ ( x i − μ ) ( 1 n ∑ j = 1 n x j − μ ) ] = 1 n n σ 2 + 1 n n σ 2 n − 2 n 1 n ∑ i = 1 n E [ ( x i − μ ) ( ∑ j = 1 n x j − n μ ) ] = σ 2 + σ 2 n − 2 n 1 n ∑ i = 1 n E [ ( x i − μ ) ( ∑ j = 1 n ( x j − μ ) ) ] = n + 1 n σ 2 − 2 n 1 n ∑ i = 1 n ∑ j = 1 n E [ ( x i − μ ) ( x j − μ ) ] \begin{align*} \sigma ^2 &= E[S^2] \\ &=E[\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2]\\ &=E[\frac{1}{n}\sum_{i=1}^{n}(x_i-\mu+\mu-\bar{x})^2]\\ &=E[\frac{1}{n}\sum_{i=1}^{n}[(x_i-\mu)-(\bar{x}-\mu)]^2]\\ &=E[\frac{1}{n}\sum_{i=1}^{n}[(x_i-\mu)^2+(\mu-\bar{x})^2-2(x_i-\mu)(\bar{x}-\mu)]]\\ &=\frac{1}{n}\sum_{i=1}^{n}E[(x_i-\mu)^2]+\frac{1}{n}\sum_{i=1}^{n}E[(\mu-\bar{x})^2]-\frac{2}{n}\sum_{i=1}^{n}E[(x_i-\mu)(\bar{x}-\mu)]\\ &=\frac{1}{n}\sum_{i=1}^{n}var[x_i]+\frac{1}{n}\sum_{i=1}^{n}var[\bar{x}]-\frac{2}{n}\sum_{i=1}^{n}E[(x_i-\mu)(\bar{x}-\mu)]\\ &=\frac{1}{n}\sum_{i=1}^{n}\sigma^2+\frac{1}{n}\sum_{i=1}^{n}\frac{\sigma^2}{n} -\frac{2}{n}\sum_{i=1}^{n}E[(x_i-\mu)(\frac{1}{n}\sum_{j=1}^{n}x_j-\mu)]\\ &=\frac{1}{n}n\sigma^2+\frac{1}{n}n\frac{\sigma^2}{n} -\frac{2}{n}\frac{1}{n}\sum_{i=1}^{n}E[(x_i-\mu)(\sum_{j=1}^{n}x_j-n\mu)]\\ &=\sigma^2+\frac{\sigma^2}{n} -\frac{2}{n}\frac{1}{n}\sum_{i=1}^{n}E[(x_i-\mu)(\sum_{j=1}^{n}(x_j-\mu))]\\ &=\frac{n+1}{n}\sigma^2 -\frac{2}{n}\frac{1}{n}\sum_{i=1}^{n}\sum_{j=1}^{n}E[(x_i-\mu)(x_j-\mu)]\\ \end{align*} σ2​=E[S2]=E[n1​i=1∑n​(xi​−xˉ)2]=E[n1​i=1∑n​(xi​−μ+μ−xˉ)2]=E[n1​i=1∑n​[(xi​−μ)−(xˉ−μ)]2]=E[n1​i=1∑n​[(xi​−μ)2+(μ−xˉ)2−2(xi​−μ)(xˉ−μ)]]=n1​i=1∑n​E[(xi​−μ)2]+n1​i=1∑n​E[(μ−xˉ)2]−n2​i=1∑n​E[(xi​−μ)(xˉ−μ)]=n1​i=1∑n​var[xi​]+n1​i=1∑n​var[xˉ]−n2​i=1∑n​E[(xi​−μ)(xˉ−μ)]=n1​i=1∑n​σ2+n1​i=1∑n​nσ2​−n2​i=1∑n​E[(xi​−μ)(n1​j=1∑n​xj​−μ)]=n1​nσ2+n1​nnσ2​−n2​n1​i=1∑n​E[(xi​−μ)(j=1∑n​xj​−nμ)]=σ2+nσ2​−n2​n1​i=1∑n​E[(xi​−μ)(j=1∑n​(xj​−μ))]=nn+1​σ2−n2​n1​i=1∑n​j=1∑n​E[(xi​−μ)(xj​−μ)]​

因为 X X X是独立变量， x i / x j x_i/x_j xi​/xj​相互独立，当 i ≠ j i\neq j i=j时, E [ ( x i − μ ) ( x j − μ ) ] = 0 E[(x_i-\mu)(x_j-\mu)]=0 E[(xi​−μ)(xj​−μ)]=0 E [ S 2 ] = n + 1 n σ 2 − 2 n 1 n ∑ i = 1 n ∑ j = 1 n E [ ( x i − μ ) ( x j − μ ) ] = n + 1 n σ 2 − 2 n 1 n ∑ i = 1 n E [ ( x i − μ ) 2 ] = n + 1 n σ 2 − 2 n 1 n ∑ i = 1 n v a r [ x i ] = n + 1 n σ 2 − 2 n 1 n n σ 2 = n − 1 n σ 2 \begin{align*} E[S^2] &=\frac{n+1}{n}\sigma^2 -\frac{2}{n}\frac{1}{n}\sum_{i=1}^{n}\sum_{j=1}^{n}E[(x_i-\mu)(x_j-\mu)]\\ &=\frac{n+1}{n}\sigma^2 -\frac{2}{n}\frac{1}{n}\sum_{i=1}^{n}E[(x_i-\mu)^2]\\ &=\frac{n+1}{n}\sigma^2 -\frac{2}{n}\frac{1}{n}\sum_{i=1}^{n}var[x_i]\\ &=\frac{n+1}{n}\sigma^2 -\frac{2}{n}\frac{1}{n}n\sigma ^2\\ &=\frac{n-1}{n}\sigma^2 \end{align*} E[S2]​=nn+1​σ2−n2​n1​i=1∑n​j=1∑n​E[(xi​−μ)(xj​−μ)]=nn+1​σ2−n2​n1​i=1∑n​E[(xi​−μ)2]=nn+1​σ2−n2​n1​i=1∑n​var[xi​]=nn+1​σ2−n2​n1​nσ2=nn−1​σ2​

由上面的公式可以知道，样本观测值的总体方差的期望不等于随机变量分布的方差，因此样本观测值的总体方差不是随机变量分布方差的无偏估计。

E [ S 2 ] = n − 1 n σ 2 E[S^2]=\frac{n-1}{n}\sigma^2 E[S2]=nn−1​σ2 上式左右两边同时乘以 n n − 1 \frac{n}{n-1} n−1n​,得 σ 2 = n n − 1 E [ S 2 ] \sigma^2=\frac{n}{n-1}E[S^2] σ2=n−1n​E[S2]

σ 2 = E [ n n − 1 S 2 ] \sigma^2=E[\frac{n}{n-1}S^2] σ2=E[n−1n​S2]

因此能做为总体偏差无偏估计的样本偏差的计算公式为：

σ 2 = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 \sigma^2=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2 σ2=n−11​i=1∑n​(xi​−xˉ)2

为什么分母是 n − 1 n-1 n−1时，才能得到无偏的总体方差估计呢？ 产生偏差的本质是因为均值用的是样本均值 x ˉ \bar{x} xˉ而非总体均值 μ \mu μ,这导致采样出来的样本之间不是完全相互独立的，自由度从 n n n减少了1,变成了 n − 1 n-1 n−1。 x ˉ = 1 n ∑ i = 1 n x i \bar{x}=\frac{1}{n}\sum\limits_{i=1}^{n}x_i xˉ=n1​i=1∑n​xi​,当给定 x ˉ \bar{x} xˉ和任意 n − 1 n-1 n−1个观测值时，剩下一个变量值都可以确定下来，因此只有 n − 1 n-1 n−1个自由度，因此除以 n − 1 n-1 n−1可以得到无偏估计。

欢迎访问个人网络日志🌹🌹知行空间🌹🌹