描述性统计所提取的统计的信息称为统计量，包括频数与频率，反映集中趋势的均值、中位数、众数和分位数，反映离散程度的极差、方差和标准差，反映分布形状（相对于正态分布）的偏度和峰度。

变量分为类别变量和数值变量，类别变量往往被作为维度，数值变量往往被作为指标。类别可以经过特定的转换转换为数值，从而作为指标，数值变量也可以经过特定的分箱或转换转换为文本型变量，从而作为类别或维度。

最基本的统计量就是频数与频率，它们适用于类别变量。

频数，指数据中类别变量每个不同取值出现的次数。

频率，指每个类别变量的频数与总次数的比值，通常采用百分数表示。

下面我们以鸢尾花数据集为例说明这些概念，首先导包并读取数据：

注意：column_stack会先将一维数组转换为2维列向量后，按列水平进行拼接

numpy拼接小知识补充

等价于：

或：

或：

而iris.target.reshape(-1, 1)也可以用新增轴来表示，等价于：

np.newaxis的本质等于None，可以直接用None替换，即：

个人觉得column_stack最方便，因为实现了将一维数组自动转换为2维列向量。

下面计算鸢尾花数据中，每个类别出现的频数：

将频数除以总数即表示每个类别出现的频率，使用百分比表示：

有均值、中位数、众数和分位数。

均值，即平均值，其为—组数据的总和除以数据的个数。

中位数，将一组数据升序排列，位于该组数据最中间位置的值，就是中位数。如果数据个数为偶数，则取中间两个数值的均值。

众数，一组数据中出现次数最多的值

从上图可以看到在正态分布下，三者是相同的，在偏态分布下，三者会有所不同。

数值变量在正态分布时，可以使用均值与中值表示集中趋势。在偏态分布下，均值容易受极端值的影响，所以一般使用中值表示集中趋势。

类别变量通常使用众数表示集中趋势，但众数在一组数据中可能不是唯一的。

举个例子，要统计居民的总体收入水平，使用哪项指标衡量更合适呢？首先收入属于数值变量，可以使用均值与中位数表示集中趋势。

但20%的人掌握着80%的人财富，居民收入是个严重右偏的分布，均值会受极端值的影响，所以使用中位数指标更合适。

下面我们计算花萼长度的均值，中位数以及众数：

也可以使用scipy的stats模块来求一组数据的众数。

同时会返回该众数出现的频次。

看看分布：

Serise的mode方法和stats.mode()方法的区别

Serise的mode方法的返回值类型是Serise。stats.mode()方法的返回值类型是 ModeResult

如果众数的值不唯一，Series的mode()方法会显示所有众数，而stats.mode()方法只显示其中一个，但同时能知道该众数的个数。

对于Series的mode方法：

对于stats.mode()方法：

分位数，通过n-1个分位将数据划分为n个区间，使得每个区间的数值个数相等（或近似相等）。其中，n为分位数的数量．常用的分位数有四分位数与百分位数。

以四分位数为例，通过3个分位，将数据划分为4个区间（百分位数可根据四分位数对比理解）。

使用Numpy中计算分位数：

使用Pandas中计算分位数：

describe方法支持自定义分位位置：

分位数计算的原理

首先计算分位点所在的索引位置：

索引位置不是整数时，使用最近位置的两个整数，加权计算来得到四分位的位置，每个整数的权重为距离的反比。加权计算：

当索引位置是整数时，计算过程可以简化为：

极差指一组数据中，最大值与最小值之差。

方差体现的是一组数据中，每个元素与均值偏离的大小。

σ 2 = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 \Huge{\sigma^{2}=\frac{1}{n-1} \sum_{i=1}^{n}\left(x_{i}-\bar{x}\right)^{2}} σ2=n−11​∑i=1n​(xi​−xˉ)2

标准差为方差的开方。

σ = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 \Huge{\sigma=\sqrt{\frac{1}{n-1} \sum_{i=1}^{n}\left(x_{i}-\bar{x}\right)^{2}}} σ=n−11​∑i=1n​(xi​−xˉ)2 ​

关于三者，说明如下：

花瓣长度的方差较大，花瓣宽度的方差较小，绘图对比：

偏度是统计数据分布偏斜方向和程度的度量，是统计数据分布非对称程度的数字特征。

峰度是描述总体中所有取值分布形态陡缓程度的统计量。可以将峰度理解为数据分布的高矮程度。峰度的比较是相对于标准正态分布的。

如果一个分布取对数后为正态分布，则该分布称为对数正态分布。

总体，就是被研究的全部数据，总体中的某个数据，就是个体。从总体中抽取部分个体．就构成了样本，样本中包含的个体数量，称为样本容量。

在实际的研究中，往往无法获取全部数据，只能对总体进行抽样。推断统计就是研究根据样本数据去推断总体数量特征的方法，它在对样本数据进行描述的基础上，对统计总体的未知数量特征做出以概率形式表述的推断，从而通过样本统计量来估计总体参数。

推断统计分析分为参数估计和假设检验。

点估计，就是使用样本的统计量去代替总体参数。例如，我们要求鸢尾花的平均花瓣长度，就可以使用样本的均值来估计总体的均值：

点估计实现简单，但是容易受到随机抽样的影响，无法保证结论的准确性。

区间估计则根据样本的统计量，计算出一个可能的区间与概率，表示总体的参数会有多少概率位于该区间中。区间估计指定的区间，我们称为置信区间，而区间估计指定的概率，称为置信度。例如，鸢尾花花瓣长度有70%的可能性在3.4cm-3.8cm之间，3.4cm- 3.8cm就是置信区间，而70%就是置信度。

总之，点估计是使用一个值来代替总体的参数值，能够给出具体的估计值但缺乏准确性。区间估计是使用的一个置信区间与置信度，表示总体参数有多少可能（置信度）会在该范围（置信区间）内，能够给出合理的范围和支持概率。

经过抽样，获取—个样本之后，该如何才能确定置信区间与置信度呢？区间估计的基石就是根据中心极限定理。

定理内容：如果总体（分布不重要）均值为μ，方差为 σ 2 \sigma^{2} σ2。我们进行随机抽样，样本容量为n，当n增大时，则样本均值逐渐趋近服从正态分布： X ˉ ∼ N ( μ , σ 2 / n ) \bar{X}\sim N\left(\mu, \sigma^{2} / n\right) Xˉ∼N(μ,σ2/n)

该定理说明了总体与样本之间，在分布上的联系。该定理说明在抽样的样本容量n足够大时，进行多次抽样．则每次抽样会得到—个均值，这些均值会围绕在总体均值左右，呈正态分布。均值等于总体的均值，标准差等于总体标准差 σ \sigma σ除以 n \sqrt{n} n ​

程序模拟

下面模拟总体的均值为30，标准差为80，抽样的样本容量n为64，看看1000次抽样的样本均值是否构成均值为30，标准差为10的正态分布：

从上述结果可以看到，样本的均值和标准差接近于理论值。

在正态分布中，数据的分布比例如下：

可以用程序模拟一下：

可以看到标准差大概是2.58倍时，正态分布覆盖99%样本数据。

可以通过scipy获取准确值：

结果：

执行calcTimes(0.95)的结果是1.959963984540054，说明1.96倍标准差能覆盖95%的样本数据。

计算在正态分布情况下，指定倍数的标准差能覆盖多大比例的样本数据可以使用以下命令：

如果设立：

计算下方红色部分（右边）的面积：

根据P值与α值，决定接受原假设还是备择假设。

某公司要求，平均日投诉量均值不得超过1%。现检查—个部门的服务情况。在该部门维护的—个500人客户群中，近7天的投诉量分别为5, 6, 8, 4, 4, 7, 0。请问该部门是否达标？

原假设平均日投诉量均值小于等于1%，是个右边假设检验，总体标准差未知，样本量小于30，选择 t t t检验：