The t-distribution: a key statistical concept discovered by a beer brewery

这篇博文会介绍两种你在数据科学， 统计学， 机器学习领域中几乎每次都会遇到的概率分布。

想象我们在进行一项关于城市人口身高的研究。 我们走街串巷随机测量了一堆人的身高（其中有一些人认为这太奇怪了，想要叫警察， 但是这是为了科学， 别闹了）。

现在我们决定， 进行一些探索性数据分析（Exploratory Data Analysis ） 。 但是我们手头恰好没有数据分析软件（例如 R），所以我们就简单的做一个身高分布直方图。

我们看到了什么？ 啊哈， 著名的钟型曲线。 这可能是你遇到过的最为重要的概率分布。 感谢中心极限定理（Central limit theorem）， 高斯分布在很多现实世界中的很多现象中都存在。高斯分布过于常见， 以致于人们直接干脆称之为常态分布/正态分布（Normal Distribution)

中心极限定理阐明了， 足够多的随机变量求和后的平均数是符合正态分布的。 那些随机变量自身可以遵循任意的概率分布， 只要我们在衡量某种由这些随机变量求和结果所表示的量时（只要样本量足够大）， 我们最终都会得到正态分布。

高斯分布的概率密度函数如下： f ( x ∣ μ , σ ) = 1 σ 2 π e − ( x − μ ) 2 2 σ 2 f(x|\mu,\sigma) = \frac{1}{\sigma \sqrt{2 \pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} f(x∣μ,σ)=σ2π ​1​e−2σ2(x−μ)2​

这个公式可能看上去有些吓人， 但是它在数学运算上非常便捷。 如果你感兴趣它是如何推到出来的， 你可以阅读这里。 正如你所看到的， 这个分布有两个参数

平均数 μ \mu μ 控制着期望值（大部分值所要去的地方）。 方差 σ 2 \sigma^2 σ2 控制着这个分布中， 取值的范围分布情况或者说分散程度。

正态分布的概念在机器学习中有极大的价值。 各种各样的机器学习算法都会用到：

如果我们想要用高斯分布对我们的数据进行建模， 但是并不知道方差 σ 2 \sigma^2 σ2 怎么办 ? 这个问题在样本量比较小， 以致于我们无法准确估计标准差（ σ \sigma σ） 的时候会出现。

（译者补充开始）：

（译者补充结束）

William Gosset 在一个吉尼斯黑啤酒酿酒厂工作时， 找到了解决样本量较小时， 总体方差未知导致无法用高斯分布建模数据问题的方法。

首先我们假设有值 x 1 , . . . , x n x_{1}, ..., x_{n} x1​,...,xn​ , 这些值是从一个正态分布 N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2) 的总体中抽样获得的

我们并不知道真正的方差， 但是我们可以通过样本均值和样本方差来估计：

x ˉ = 1 n ∑ i = 1 n x i \bar{x} = \frac{1}{n}\sum_{i=1}^{n}x_{i} xˉ=n1​i=1∑n​xi​ s 2 = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_{i}-\bar{x})^2 s2=n−11​i=1∑n​(xi​−xˉ)2

现在我们构建一个随机变量：

t = x ˉ − μ s / n t=\frac{\bar{x}-\mu}{s/\sqrt{n}} t=s/n ​xˉ−μ​

就会呈现一个 自由度为 n − 1 n-1 n−1的 T分布， 其中 n n n 是样本的数量。

这个公式可能和正态分布到标准正态分布的变形很类似：

x ˉ − μ σ / n \frac{\bar{x}-\mu}{\sigma/\sqrt{n}} σ/n ​xˉ−μ​

（译者补充开始）：

标准正太分布是以0为均数、以1为标准差的正态分布，记为 N （ 0 ， 1 ） N（0，1） N（0，1）, 标准正态分布曲线下面积分布规律是：在-1.96～+1.96范围内曲线下的面积等于0.9500，在-2.58～+2.58范围内曲线下面积为0.9900。如下图

给定一个遵循正态分布的随机变量 X ∼ N （ μ , σ X \sim N（\mu,\sigma X∼N（μ,σ, 随机变量 Z = X − μ σ Z=\frac{X-\mu}{\sigma} Z=σX−μ​ 则符合标准正态分布。 这个转换过程也被称为 μ \mu μ 变换

应用举例， 假设已知一个正态分布 $ X \sim N（20,5）$， 想要求得在该分布中， X 取到大于30的概率， 即可计算 Z = X − μ σ = 30 − 20 5 = 2 Z=\frac{X-\mu}{\sigma } = \frac{30-20}{5} = 2 Z=σX−μ​=530−20​=2， 得到 P （ X ; 30 ） = P ( Z ; 2 ) P（X;30）= P(Z;2) P（X>30）=P(Z>2) ， 查标准正态分布表可得结果 P ( Z ; 2 ) = 2.28 P(Z;2)=2.28 P(Z>2)=2.28

在正态分布总体中以固定的个数 n n n 多次抽取样本时，多个样本集的均数 X ˉ \bar X Xˉ的分布仍服从正态分布 N （ μ ， σ ） N（\mu，\sigma） N（μ，σ）。所以，对样本均数的分布进行** μ \mu μ变换**，也可变换为标准正态分布$N (0,1)

（译者补充结束）

我们并不知道真正的总体方差，所以在尝试对样本均值进行** μ \mu μ变换** 时， 只能用样本估计出的方差 s s s 替换实际方差 μ \mu μ, 导致最终得到的结果是 t 分布。

t 分布奠定了一个名为 t 检验 的科学方法的基础。 该方法曾被吉尼斯黑啤酒酿酒厂用于检验啤酒质量。

由于啤酒厂担心竞争者可能会由此发现 T检验的方法， 所以 William Gosset 只能将这个发现以笔名 “学生” 发布, 使得 t-分布也被广泛称为学生分布。

Gosset 的发现后来被著名的统计学家 Ronald Fisher （他被认为是频率论方法的作者）正规化描述。

如上图所示， 当自由度（v = n-1）从小变大的过程中， t-分布逐渐逼近为标准正态分布 。 这是因为当抽样的数量越多， 我们计算出的样本均值就越接近总体的实际均值。 t-分布和标准正态分布相比更为“肥大的尾巴” 补偿了我们进行小样本量抽样时的不确定性。

感兴趣的读者可能会问， “t-分布的概率密度函数是什么？ 我们如何推导出它?”。 这个推导在数学角度来讲并不容易， 但是推导的核心思想我们可以很容易掌握。

假设我们希望的得到正态分布变量 X ∼ N ( 0 , σ ) X \sim N(0,\sigma) X∼N(0,σ) 的概率密度函数， 但是不能依赖标准差 σ \sigma σ。 直觉上， 如果我们想避免使用 σ \sigma σ ， 就需要作出某种假设， 让我们把 σ \sigma σ 当做一个随机变量， 假设它遵循伽马分布（Gamma-Distribution, 这是一个在贝叶斯统计中广泛使用的分布 ）。 然后我们可以猜测， 变量 X 是两个连续概率分布的混合： 正态分布和伽马分布， 我们对涉及到 σ \sigma σ 的部分进行积分， 提取出来， 就可以得到 t-分布的概率密度函数。

如果想看正式的证明过程， 可以看这里和这里

高斯分布和学生分布是统计学和机器学习中最为重要的连续概率分布的一部分。 t-分布可以用作总体方差未知， 或样本集较小时高斯分布的占位符。 这两种分布有着非常严格和正式的关联关系。