这一篇主要用来总结我们熟知的简单随机抽样、分层抽样等等这些抽样和现在谈到的吉布斯采样、重要性采样、拒绝采样、蒙特卡罗等之间的联系和区别。

最想解决的问题是这些东西是否存在联系，联系在哪里？区别又是什么？

抽样：又称取样【当然，搜采样百度百科出来的也是取样】它们的英文名字都叫做sampling。从中文释义中可以看出，这些概念代表的意思是从总体中抽取个体或样本的过程，也是对总体进行试验和观测的过程。英文释义中最贴切的可能也是A sample of a substance or product is a small quantity of it that shows you what it is like. 可以看出抽样的主要目的就是通过一小部分样本对总体进行认知和估计。

我们常说的简单随机抽样、分层抽样、系统抽样和整群抽样、排序集抽样等一大堆方法就是知道调查总体，选择抽取样本的方式来对总体均值和方差等来进行估计。

那么蒙特卡罗采样和由此衍生出来的吉布斯采样、MH采样、序列蒙特卡罗采样、重要性采样、拒绝采样、自适应拒绝采样这些东西是在干什么呢？ 按照我的理解，这些方法实际上就是传统方法的另一种体现方式。我依然想要知道总体的一些状况，可现在并没有直接的样本可以选取，接下来介绍的这些方法就是在不同情况下来弄出来不同的样本进行估计大业！

第一个想到的办法一定是投石问路，所以就有了根据当前的规则“走”出样本来进行估计，以大数定律为基础就可以进行估计，得到总体的均值等信息。当扔石头的概率都一样时，就是简单随机抽样在实际中的应用。结合其它抽样方法特性也可以应用成其它的抽样方法，如分层抽样、整群抽样等。

那如果我只知道路的大概形状，根本不知道路在哪里，这个石头又要怎么投呢？ 这时候就相当于知道总体的分布等很复杂的理论形式，我依然想知道总体的均值等信息，直接算实在太复杂。我就是想搞点样本算算均值就好！ 这个时候就需要根据复杂的形式去产生样本点，就产生了拒绝采样、重要性采样这些算法。

上边的这些方法都需要得到总体的概率分布，如果我这些信息知道的也不是很全面呢？我连路的形状都不知道呢？这要怎么找 面对这种情况就只能根据你所处的位置找到路的特性，企图从变中找到不变，MCMC方法、MH方法和吉布斯采样这类方法正是如此。

随机过程研究的一个重要分支就是马氏链，侧面反映了马氏性在生活中的普遍性。上述提到的这三种方法就是基于马氏性对总体进行估计。 【目前还不了解要是那些个布朗运动那些随机过程或衍生出什么好的采样估计方法，但有正态分布的好性质在，可能会稍微简单一点。】

时代总是在发展，现在机器学习、深度学习、大数据那么火，采样也不能落套。众所周知，机器学习玩到底就是分类。 在有监督学习的情况下，算法要从训练集中找到分类的规律后续才能准确分出来。数据不均衡的情况时常出现。 A类多，B类少怎么办？ 加A 减B，有加有减是常有的思路。翻译一下也就是现在常说的上采样、下采样等。

说到底都是为了总体。怎么为了总体弄出样本来。 总体中的东西明确，就解决怎么挑样本的问题； 总体中的东西不明确，就解决怎么产生样本的问题； 抽样的发展都是根据对总体的了解情况进行的。从有很多样本挑出合适的来代表，到知道特征自己模拟一点。随着计算机技术的发展，样本量大和根据特征构造不是难事，难以解决的是有些东西本身样本就很少。所以就出现了自己造样本的情况，也就是上采样、下采样等。

【上述均为我的个人理解，有其它想法的小伙伴可以多多交流！争取能让我们对这个问题的理解更加深刻~】

https://baike.baidu.com/item/抽样/1163966?fr=aladdin https://baike.baidu.com/item/取样/8973899?fromtitle=采样&fromid=3442058&fr=aladdin