在贝叶斯方法中，马尔可夫链蒙特卡罗方法尤其神秘 （ 点击文末“阅读原文”获取完整代码数据******** ）。

它们肯定是数学繁重且计算量大的过程，但它们背后的基本推理，就像数据科学中的许多其他东西一样，可以变得直观。这就是我的目标。

那么，什么是马尔可夫链蒙特卡罗（MCMC）方法？简短的回答是：

MCMC 方法用于通过概率空间中的随机抽样来近似感兴趣参数的后验分布。

在这篇文章中，我将解释这个简短的答案。

首先，一些术语。感兴趣的参数只是总结我们感兴趣的现象的一些数字。通常我们使用统计数据来估计参数。例如，如果我们想了解成年人的身高，我们感兴趣的参数可能是平均身高。分布是我们参数的每个可能值的数学表示，以及我们观察每个值的可能性。最著名的例子是钟形曲线：

在贝叶斯统计方法中，分布有额外的解释。贝叶斯不仅表示参数的值以及每个参数成为真实值的可能性，而是将分布视为描述我们对参数的信念。因此，上面的钟形曲线表明我们非常确定参数的值非常接近于零，但我们认为真实值高于或低于该值的可能性相同，直到某个点。

碰巧的是，人类身高确实遵循正态曲线，所以假设我们相信人类平均身高的真实值遵循如下钟形曲线：

显然，这张图所代表的有信仰的人多年来一直生活在巨人中间，因为据他们所知，最有可能的成人平均身高是1米8（但他们并不是特别自信）。

让我们想象一下这个人去收集了一些数据，他们观察了1米6到 1米8之间的人群。我们可以在下面表示该数据，以及另一条显示人类平均身高值最能解释数据的正态曲线：

在贝叶斯统计中，代表我们对参数的信念的分布称为先验分布，因为它在看到任何数据之前捕获了我们的信念。似然分布通过表示一系列参数值以及每个参数解释我们正在观察的数据的可能性来总结观察到的数据告诉我们的内容。估计最大化似然分布的参数值只是回答了这个问题：什么参数值最有可能观察到我们观察到的数据？在没有先验信念的情况下，我们可能会止步于此。

然而，贝叶斯分析的关键是结合先验分布和似然分布来确定后验分布。这告诉我们，考虑到我们先前的信念，哪些参数值可以最大限度地提高观察我们所做的特定数据的机会。在我们的例子中，后验分布如下所示：

上图，红线代表后验分布。您可以将其视为先验分布和似然分布的一种平均值。由于先验分布更短且分布更广，因此它代表了一组对人类平均身高的真实值“不太确定”的信念。同时，似然总结了相对狭窄范围内的数据，因此它代表了对真实参数值的“更确定”的猜测。

当先验可能性结合起来时，数据（由可能性表示）支配了在巨人中长大的假设个人的弱先验信念。尽管那个人仍然认为人类的平均身高比数据告诉他的要高一些，但他基本上相信数据。

在两条钟形曲线的情况下，求解后验分布非常容易。有一个简单的公式可以将两者结合起来。但是，如果我们的先验分布和似然分布没有那么好怎么办？有时，使用没有方便形状的分布对我们的数据或我们的先验信念进行建模是最准确的。如果我们的概率最好由具有两个峰值的分布来表示，并且出于某种原因我们想要解释一些非常古怪的先验分布怎么办？我通过手绘一个丑陋的先验分布来可视化下面的场景：

和以前一样，存在一些后验分布，它给出了每个参数值的可能性。但它有点难以看出它可能是什么样子，并且不可能通过分析来解决。

MCMC 方法

MCMC 方法允许我们估计后验分布的形状，以防我们无法直接计算它。回想一下，MCMC 代表马尔可夫链蒙特卡罗方法。为了理解它们是如何工作的，我将介绍蒙特卡罗模拟。

蒙特卡罗模拟只是一种通过重复生成随机数来估计固定参数的方法。通过获取生成的随机数并对它们进行一些计算，蒙特卡洛模拟提供了一个参数的近似值。

假设我们想估计圆的面积：

由于圆在边长为 1的正方形内，因此面积可以很容易地计算为 0.785 。但是，我们可以在正方形内随机放置 20 个点。然后我们计算落在圆圈内的点的比例，并将其乘以正方形的面积。这个数字是圆面积的一个很好的近似值。

由于 20 个点中有 15 个位于圆内，因此该圆看起来约为 0.75 。对于只有 20 个随机点的蒙特卡洛模拟来说还不错。

蒙特卡罗模拟不仅用于估计困难形状的区域。通过生成大量随机数，它们可用于对非常复杂的过程进行建模。

有了蒙特卡罗模拟和马尔可夫链的一些知识，我希望对 MCMC 方法如何工作的无数学解释非常直观。

回想一下，我们正在尝试估计我们感兴趣的参数的后验分布，即人类平均身高：

我不是可视化专家，显然我也不擅长将我的示例保持在常识范围内：我的后验分布示例严重高估了人类的平均身高。

我们知道后验分布在我们的先验分布和似然分布的范围内，但无论出于何种原因，我们都无法直接计算它。使用 MCMC 方法，我们将有效地从后验分布中抽取样本，然后计算统计数据，例如抽取样本的平均值。

首先，MCMC 方法选择一个随机参数值来考虑。模拟将继续生成随机值（这是蒙特卡洛部分），但要遵守一些规则来确定什么是好的参数值。诀窍是，对于一对参数值，可以通过计算每个值解释数据的可能性来计算哪个是更好的参数值，给定我们的先验信念。如果随机生成的参数值比上一个更好，则以一定的概率将其添加到参数值链中，该概率取决于它的好坏程度（这是马尔可夫链部分）。

为了直观地解释这一点，让我们回想一下某个值的分布高度代表观察该值的概率。因此，我们可以认为我们的参数值（x 轴）展示了高概率和低概率的区域，显示在 y 轴上。对于单个参数，MCMC 方法从沿 x 轴随机采样开始：

红点是随机参数样本

由于随机样本受固定概率的影响，它们往往会在一段时间后收敛于我们感兴趣的参数的最高概率区域：

蓝点仅代表任意时间点之后的随机样本，此时预计会发生收敛。注意：垂直堆叠点纯粹是为了说明目的。

收敛后，MCMC 采样会产生一组点，这些点是来自后验分布的样本。围绕这些点绘制直方图，并计算您喜欢的任何统计数据：

在 MCMC 模拟生成的样本集上计算的任何统计量都是我们对真实后验分布统计量的最佳猜测。

MCMC 方法也可用于估计多个参数（例如人的身高和体重）的后验分布。对于n 个参数，在 n 维空间中存在高概率区域，其中某些参数值集可以更好地解释观察到的数据。因此，我认为 MCMC 方法是在概率空间内随机抽样以近似后验分布。

点击标题查阅往期内容

R语言实现MCMC中的Metropolis–Hastings算法与吉布斯采样

左右滑动查看更多

01

02

03

04

MCMC只是一个从分布抽样的算法。

这只是众多算法之一。这个术语代表“马尔可夫链蒙特卡洛”，因为它是一种使用“马尔可夫链”（我们将在后面讨论）的“蒙特卡罗”（即随机）方法。MCMC只是蒙特卡洛方法的一种，尽管可以将许多其他常用方法看作是MCMC的简单特例。

从分布中抽取样本是解决一些问题的最简单的方法。

可能MCMC最常用的方法是从贝叶斯推理中的某个模型的后验概率分布中抽取样本。通过这些样本，你可以问一些问题：“参数的平均值和可信度是多少？”。

如果这些样本 （ 查看文末了解数据获取方式 ） 是来自分布的独立样本，则 估计均值将会收敛在真实均值上。

假设我们的目标分布是一个具有均值m和标准差的正态分布s。

作为一个例子，考虑用均值m和标准偏差s来估计正态分布的均值（在这里，我将使用对应于标准正态分布的参数）：

我们可以很容易地使用这个rnorm 函数从这个分布中抽样

我们需要整合第一个参数的第二个参数的所有可能值。那么，因为目标函数本身并不是标准化的，所以我们必须将其分解为一维积分值 。

点击文末 “阅读原文”

获取全文完整资料。

本文选自《R语言中实现马尔可夫链蒙特卡罗MCMC模型》。

点击标题查阅往期内容

R语言实现MCMC中的Metropolis–Hastings算法与吉布斯采样R语言贝叶斯METROPOLIS-HASTINGS GIBBS 吉布斯采样器估计变点指数分布分析泊松过程车站等待时间R语言马尔可夫MCMC中的METROPOLIS HASTINGS，MH算法抽样（采样）法可视化实例python贝叶斯随机过程：马尔可夫链Markov-Chain，MC和Metropolis-Hastings，MH采样算法可视化Python贝叶斯推断Metropolis-Hastings（M-H）MCMC采样算法的实现Metropolis Hastings采样和贝叶斯泊松回归Poisson模型Matlab用BUGS马尔可夫区制转换Markov switching随机波动率模型、序列蒙特卡罗SMC、M H采样分析时间序列R语言RSTAN MCMC：NUTS采样算法用LASSO 构建贝叶斯线性回归模型分析职业声望数据R语言BUGS序列蒙特卡罗SMC、马尔可夫转换随机波动率SV模型、粒子滤波、Metropolis Hasting采样时间序列分析R语言Metropolis Hastings采样和贝叶斯泊松回归Poisson模型R语言贝叶斯MCMC：用rstan建立线性回归模型分析汽车数据和可视化诊断R语言贝叶斯MCMC：GLM逻辑回归、Rstan线性回归、Metropolis Hastings与Gibbs采样算法实例R语言贝叶斯Poisson泊松-正态分布模型分析职业足球比赛进球数R语言用Rcpp加速Metropolis-Hastings抽样估计贝叶斯逻辑回归模型的参数R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病R语言中贝叶斯网络（BN）、动态贝叶斯网络、线性模型分析错颌畸形数据R语言中的block Gibbs吉布斯采样贝叶斯多元线性回归Python贝叶斯回归分析住房负担能力数据集R语言实现贝叶斯分位数回归、lasso和自适应lasso贝叶斯分位数回归分析Python用PyMC3实现贝叶斯线性回归模型R语言用WinBUGS 软件对学术能力测验建立层次（分层）贝叶斯模型R语言Gibbs抽样的贝叶斯简单线性回归仿真分析R语言和STAN,JAGS：用RSTAN,RJAG建立贝叶斯多元线性回归预测选举数据R语言基于copula的贝叶斯分层混合模型的诊断准确性研究R语言贝叶斯线性回归和多元线性回归构建工资预测模型R语言贝叶斯推断与MCMC：实现Metropolis-Hastings 采样算法示例R语言stan进行基于贝叶斯推断的回归模型R语言中RStan贝叶斯层次模型分析示例R语言使用Metropolis-Hastings采样算法自适应贝叶斯估计与可视化R语言随机搜索变量选择SSVS估计贝叶斯向量自回归（BVAR）模型WinBUGS对多元随机波动率模型：贝叶斯估计与模型比较R语言实现MCMC中的Metropolis–Hastings算法与吉布斯采样R语言贝叶斯推断与MCMC：实现Metropolis-Hastings 采样算法示例R语言使用Metropolis-Hastings采样算法自适应贝叶斯估计与可视化视频：R语言中的Stan概率编程MCMC采样的贝叶斯模型R语言MCMC:Metropolis-Hastings采样用于回归的贝叶斯估计