在数理统计中，常常需要通过样本来估计总体的参数，估计可划分为两大类：点估计和区间估计。点估计就是估计总体中某个参数的值，而区间估计是估计总体的某个参数落在某个区间的概率大小。本文主要讲述点估计中的矩估计法和最大似然估计法，以及针对服从正态分布的期望和方差进行区间估计。

点估计一般解决的问题是总体 \(X\) 的分布函数 \(F(X,\theta)\) 形式为已知，但是 \(\theta\) 参数未知。点估计的目的就是通过样本 \(X_1,X_2,...X_n\) 构造一个适当的统计量 \(\theta'(X_1,X_2,...X_n)\)，用于作为未知参数 \(\theta\) 的近似值。由于 \(\theta'\) 是样本的函数，因此对于不同的样本，\(\theta'\) 的值一般不同。

点估计中一般用到的方法包括矩估计法和最大似然估计法。

矩估计法的核心思想是样本矩总是依概率收敛于相应的总体矩，因此可通过样本矩作为相应的总体矩的估计量，进而根据总体矩与待估参数的关系求出待估参数。

矩估计法的一般描述如下： 设 \(X\) 为连续型随机变量，其概率密度函数为 \(f(x;\theta_1, \theta_2,..\theta_k)\)；离散型随机变量，其分布律为\(P(X=x) = p(x; \theta_1, \theta_2,..\theta_k)\)；则总体的 \(k\) 阶矩分别为 \[\mu_k = E(X^k) = \int_{-\infty}^{\infty} x^kf(x;\theta_1, \theta_2...\theta_k) dx\] \[\mu_k = E(X^k) = \sum_{x \in R_x} x^kp(x;\theta_1, \theta_2....\theta_k)\]

上式中的 \(R_x\) 是 \(X\) 可能取值的范围；上面是总体的 k 阶矩的定义，但是实际估计时，往往到只需要使用其一阶矩和二阶矩，也就是 \(E(X)\) 和 \(E(X^2)\)。

而样本 \(X_1, X_2...X_n\) 的 \(k\) 阶矩的定义为 \[A_k = \frac{1}{n} \sum_{i=1}^{n}X_i^k\]

由于总体的 k 阶矩往往是未知参数 \(\theta\) 的函数，因此常常先用总体的 k 阶 \(\mu_k\) 矩将参数 \(\theta\) 表示出来，然后用样本矩 \(A_k\) 代替 \(\mu_k\),进而得出估计的 \(\theta\) 的值。下面是一个简单的例子

最大似然估计的思想是既然当前取得了这组样本，那么有理由相信已取得的样本出现的概率是很大的。因此通过极大化这组样本的联合概率来估计未知参数的值。

单总体为离散型的时候，设当前样本为 \(X_1,X_2,...X_n\)， 则其联合概率为 \(\prod_{i=1}^{n} p(x_i;\theta)\), 其中 \(x_i\) 是 \(X_i\) 相应的观测值，则上面的联合概率实际上是参数 \(\theta\) 的函数，记为\[L(\theta) = \prod_{i=1}^{n} p(x_i;\theta)\] 上面的 \(L(\theta)\) 被称为样本的似然函数。

选择 \(\theta\) 的值使得 \(L(\theta)\) 最大便是最大似然估计做的事情。一般通过对 似然函数求导便可求得其最大值对应的 \(\theta\)。如下是一个简单的例子

上面最后求解的结果是 \(p' = \overline x\)。同时也注意到求解似然函数最大化时会先对似然函数取 \(log\) , 目的是将连乘变为连加，方便运算，同时这种方法也被称为对数极大似然估计。

若总体是连续型，设其概率密度函数为 \(f(x,\theta)\)，则当前样本 \(X_1,X_2,...X_n\) 的联合概率密度函数为 \[\prod_{i=1}^{n}f(x_i;\theta)\] 其中 \(x_1,x_2,...x_n\) 是相应于样本的一个样本值，则随机点落在 （\(x_1,x_2,...x_n\)）的领域（边长为 \(dx_1, dx_2,...dx_n\)的n维立方体）内的概率近似为\[\prod_{i=1}^{n}f(x_i;\theta)dx_i\]

同样我们要让上式取到最大，但是因子 \(\prod_{i=1}^{n}dx_i\) 不随 \(\theta\) 改变，因此只需考虑函数$ L() = _{i=1}^{n}f(x_i;)$最大即可，这里 \(L(\theta)\) 被称为似然函数，极大化也是通过求导来解决。

下面是一个连续型总体进行极大似然估计的例子

对于同一参数，不同的估计方法求出的估计量可能不一样，那么如何判断不同的估计量之间的优劣，无偏性，有效性和相合性是常用的三个指标。

无偏性指的是从样本中得到的估计量 \(\theta'\) 的期望与总体的参数 \(\theta\) 相等，也就是 \[E(\theta') = \theta\] 此时称 \(\theta'\) 是 \(\theta\) 的无偏估计量。无偏估计量的意义是对于某些样本值，这一估计量得到的估计值比真实值要打，而对于另外一些样本则偏小，反复将这一估计量使用多次，就平均来说其偏差为零。

当两个估计量 \(\theta_1', \theta_2'\) 均是无偏估计量时，就要通过比较他们的有效性来决定选取哪个估计量。有效性指的是在样本容量 \(n\) 相同的情况下，假如 \(\theta_1'\) 的观察值较 \(\theta_2'\) 的值更密集在真值 \(\theta\) 附近，那么认为\(\theta_1'\) 比 \(\theta_2'\) 更为理想。

实际上，上面比较的就是两个估计量的方差大小，方差越小，则越有效，因此当两个总体的样本数相同的时候，若 \(D(\theta_1') < D(\theta_2')\) 时， 就称 \(\theta_1'\) 比 \(\theta_2'\) 更有效。

当样本数目 \(n \rightarrow \infty\) 时，估计量 \(\theta'(X_1，X_2...X_n)\) 依概率收敛于真正的 \(\theta\) ,则称 \(\theta'\) 为 \(\theta\) 的相合估计量。即有以下式子成立\[ \lim_{n \rightarrow \infty}P(|\theta' - \theta| < \epsilon) = 1\]

相合性是一个估计量的基本要求，如果估计量没有相合性，那么无论样本数量 n 取多大，这些估计量都无法准确估计正确参数，都是不可取的。

对于总体中的未知参数，我们的估计总是存在着一定的误差的，如何去衡量这个误差是一个需要考虑的事情。同时，除了上面的点估计，在实际中我们往往还希望估计出参数的一个范围，同时参数落在这个范围的概率，或者是说可信程度。

估计参数落在某个范围以及落在这个范围的可信程度就是区间估计干的事情。

其严格定义如下 >设总体的分布中存在一个未知参数 \(\theta\), 对于给定的值 \(\alpha(0 < \alpha \theta'\) 变为 \(\theta < \theta'\) 后，相应地变为单侧置信上限。

单侧置信区间的计算方法与上面提到的双侧置信区间的计算方法已知，都是根据给定的 \(\alpha\) 值和统计量服从的分布去查表，找到相应的分位点后带入不等式求解目标估计量的范围即可。