超详细理解Gamma分布,Beta分布,多项式分布,Dirichlet狄利克雷分布

您所在的位置:网站首页 贝塔函数与伽马函数的关系变量代换 超详细理解Gamma分布,Beta分布,多项式分布,Dirichlet狄利克雷分布

超详细理解Gamma分布,Beta分布,多项式分布,Dirichlet狄利克雷分布

2024-07-14 13:15| 来源: 网络整理| 查看: 265

项目github地址:bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star,留言,一起学习进步

1.Gamma函数

首先我们可以看一下Gamma函数的定义: Γ ( x ) = ∫ 0 ∞ t x − 1 e − t d t \Gamma(x) = \int _{0}^{\infty}t^{x-1} e^{-t}dt Γ(x)=∫0∞​tx−1e−tdt

Gamma的重要性质包括下面几条: 1.递推公式: Γ ( x + 1 ) = x Γ ( x ) \Gamma(x+1)=x\Gamma(x) Γ(x+1)=xΓ(x) 2.对于正整数n, 有 Γ ( n + 1 ) = n ! \Gamma(n+1) = n! Γ(n+1)=n! 因此可以说Gamma函数是阶乘的推广。 3. Γ ( 1 ) = 1 \Gamma(1) = 1 Γ(1)=1 4. Γ ( 1 2 ) = π \Gamma(\frac{1}{2}) = \sqrt{\pi} Γ(21​)=π ​

关于递推公式,可以用分部积分完成证明: Γ ( n + 1 ) = ∫ 0 ∞ t n e − t d t = − ∫ 0 ∞ t n d ( e − t ) = − ( t n e − t − n ∫ 0 ∞ e − t ⋅ t n − 1 d t ) \begin{aligned} \Gamma(n+1) &= \int _{0}^{\infty}t^{n} e^{-t}dt \\ & = -\int _{0}^{\infty}t^{n}d(e^{-t}) \\ & = -(t^{n}e^{-t} - n\int _{0}^{\infty} e^{-t} \cdot t ^ {n-1}dt) \end{aligned} Γ(n+1)​=∫0∞​tne−tdt=−∫0∞​tnd(e−t)=−(tne−t−n∫0∞​e−t⋅tn−1dt)​ 由洛必达法则,易知括号内第一项为0, 则可以得出 Γ ( n + 1 ) = n Γ ( n ) \Gamma(n+1)=n\Gamma(n) Γ(n+1)=nΓ(n)

2.Beta函数

B函数,又称为Beta函数或者第一类欧拉积分,是一个特殊的函数,定义如下: B ( x , y ) = ∫ 0 1 t α − 1 ( 1 − t ) β − 1   d t B(x, y) = {\int _{0}^{1}t^{\alpha -1}(1-t)^{\beta -1}\,dt} B(x,y)=∫01​tα−1(1−t)β−1dt

B函数具有如下性质: 1. B ( x , y ) = B ( y , x ) B(x,y) = B(y, x) B(x,y)=B(y,x) 2. B ( x , y ) = ( x − 1 ) ! ( y − 1 ) ! ( x + y − 1 ) ! B(x,y) = \frac{(x - 1)!(y - 1)!}{(x + y -1)!} B(x,y)=(x+y−1)!(x−1)!(y−1)!​ 3. B ( x , y ) = Γ ( x ) Γ ( y ) Γ ( x + y ) B(x, y) = \frac{\Gamma(x) \Gamma(y)}{\Gamma(x+y)} B(x,y)=Γ(x+y)Γ(x)Γ(y)​

3.Beta分布

在介绍贝塔分布(Beta distribution)之前,需要先明确一下先验概率、后验概率、似然函数以及共轭分布的概念。

1.通俗的讲,先验概率就是事情尚未发生前,我们对该事发生概率的估计。利用过去历史资料计算得到的先验概率,称为客观先验概率; 当历史资料无从取得或资料不完全时,凭人们的主观经验来判断而得到的先验概率,称为主观先验概率。例如抛一枚硬币头向上的概率为0.5,这就是主观先验概率。 2.后验概率是指通过调查或其它方式获取新的附加信息,利用贝叶斯公式对先验概率进行修正,而后得到的概率。 3.先验概率和后验概率的区别:先验概率不是根据有关自然状态的全部资料测定的,而只是利用现有的材料(主要是历史资料)计算的;后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料。另外一种表述:先验概率是在缺乏某个事实的情况下描述一个变量;而后验概率(Probability of outcomes of an experiment after it has been performed and a certain event has occured.)是在考虑了一个事实之后的条件概率。 4.共轭分布(conjugacy):后验概率分布函数与先验概率分布函数具有相同形式

先验概率和后验概率的关系为: p o s t e r i o r = l i k e l i h o o d ∗ p r i o r posterior = likelihood * prior posterior=likelihood∗prior

Beta分布的概率密度函数为: f ( x ; α , β ) = x α − 1 ( 1 − x ) β − 1 ∫ 0 1 u α − 1 ( 1 − u ) β − 1   d u = Γ ( α + β ) Γ ( α ) Γ ( β )   x α − 1 ( 1 − x ) β − 1 = 1 B ( α , β )   x α − 1 ( 1 − x ) β − 1 {\begin{aligned} f(x;\alpha ,\beta )&={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{\int _{0}^{1}u^{\alpha -1}(1-u)^{\beta -1}\,du}}\\ &={\frac {\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}}\,x^{\alpha -1}(1-x)^{\beta -1}\\ &={\frac {1}{\mathrm {B} (\alpha ,\beta )}}\,x^{\alpha -1}(1-x)^{\beta -1} \end{aligned}} f(x;α,β)​=∫01​uα−1(1−u)β−1duxα−1(1−x)β−1​=Γ(α)Γ(β)Γ(α+β)​xα−1(1−x)β−1=B(α,β)1​xα−1(1−x)β−1​

随机变量X服从参数为 α \alpha α , β \beta β 的Β分布通常写作 X ∼ Be ( α , β ) X\sim {\textrm {Be}}(\alpha ,\beta ) X∼Be(α,β)

Beta分布与Gamma分布的关系为: B ( x , y ) = Γ ( x ) Γ ( y ) Γ ( x + y ) B(x, y)=\frac{\Gamma(x)\Gamma(y)}{\Gamma(x+y)} B(x,y)=Γ(x+y)Γ(x)Γ(y)​

用一句话来说,beta分布可以看作一个概率的概率分布,当你不知道一个东西的具体概率是多少时,它可以给出了所有概率出现的可能性大小。

Beta分布的期望与方差分别为: μ = E ( X ) = α α + β \mu = E(X) = \frac {\alpha} {\alpha + \beta} μ=E(X)=α+βα​ V a r ( X ) = E ( X − μ ) 2 = α β ( α + β ) 2 ( α + β + 1 ) Var(X) = E(X-\mu) ^ 2 = \frac{\alpha \beta}{(\alpha + \beta) ^ 2(\alpha + \beta + 1)} Var(X)=E(X−μ)2=(α+β)2(α+β+1)αβ​

4.Beta分布是二项分布的共轭先验

这个结论很重要,在实际中应用也相当广泛。 在这之前,我们先简单回顾一下伯努利分布与二项分布。 伯努利分布(Bernoulli distribution)有称为0-1分布,伯努利分布式基于伯努利实验(Bernoulli trial)而来。

伯努利试验是只有两种可能结果的单次随机试验,即对于一个随机变量X来说: P r [ X = 1 ] = p P_r[X=1] = p Pr​[X=1]=p P r [ X = 0 ] = 1 − p P_r[X=0] = 1-p Pr​[X=0]=1−p 伯努利实验本质上即为"YES OR NO"的问题。最常见的一个例子就是抛硬币。 如果进行一次伯努利实验,假设成功(X=1)的概率为 p ( 0 < = p < = 1 ) p(0



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3