统计力学中的概率论基础（二） |
您所在的位置：网站首页 › 均匀分布的期望推导 › 统计力学中的概率论基础（二） |
统计力学中的概率论基础（二）
|
技术背景
接上一篇文章，我们继续记录统计力学中的一些基础的概率论知识。这一篇文章主要介绍的是一些常用的概率密度函数的对应参数计算，如期望值、方差等。 伯努利分布在离散分布中，最简单的分布为伯努利（Bernoulli）分布，也叫0-1分布。伯努利分布的随机变量就跟抛硬币一样只有两种：0（失败）和1（成功），对应的概率可以表示为： \[p=P(X=1),q=P(X=0)=1-p \]因为伯努利分布是一个单次试验，因此根据期望值定义可以计算得： \[\mu=E(X)=\sum_{i=0}^nX_iP(X_i)=X_0P(X=0)+X_1P(X=1)=0*q+1*p=p \]方差为： \[E[(X-\mu)^2]=E(X^2-2\mu X+\mu^2)=E(X^2)-2\mu E(X)+\mu^2=E(X^2)-p^2\\ E(X^2)=\sum_{i=0}^nX_i^2P(X_i)=X_0^2P(X=0)+X_1^2P(X=1)=p\\ \sigma^2=E[(X-\mu)^2]=p-p^2=pq \]如果\(p=\frac{1}{2},q=1-p=\frac{1}{2}\)，那么对应的伯努利分布的期望值为\(\mu=p=\frac{1}{2}\)，方差为：\(\sigma^2=pq=\frac{1}{4}\)。 二项分布二项分布是\(n\)次伯努利试验中成功次数的分布，记为\(B(n,p)\)，事件\(X_i\)表示在\(n\)次的伯努利试验中成功了\(i\)次。关于二项分布的期望值推导，可以使用期望值的定义： \[E(X)=\sum_{i=0}^nX_iP(X_i)=\sum_{i=0}^nC_{n}^{i}X_ip^iq^{n-i} \]写到此处，我们应该要想起两数求和的\(n\)次方形式： \[(p+q)^n=\sum_{i=0}^np^iq^{n-i}=1 \]那么回头再计算期望值就可以直接使用这个结果： \[\begin{align} \mu=E(X)&=\sum_{i=0}^nC_{n}^{i}X_ip^iq^{n-i}\\ &=\sum_{i=1}^nC_n^iX_ip^iq^{n-i}+0\\ &=\sum_{i=1}^n\frac{n!}{i!(n-i)!}ip^iq^{(n-i)}\\ &=\sum_{i=1}^n\frac{n(n-1)!}{(i-1)![(n-1)-(i-1)]!}pp^{i-1}q^{[(n-1)-(i-1)]}\\ &=np\sum_{k=0}^{n-1}\frac{(n-1)!}{k!(n-1-k)!}p^kq^{(n-1-k)}\\ &=np(p+q)^{n-1}\\ &=np \end{align} \]类似的，二项分布的方差为： \[\begin{align} \sigma^2=E[(X-\mu)^2]&=E(X^2)-\mu^2\\ &=\sum_{i=0}^nC_{n}^{i}X_i^2p^iq^{n-i}-\mu^2\\ &=\sum_{i=1}^n\frac{n!}{i!(n-i)!}i^2p^iq^{n-i}+0-\mu^2\\ &=\mu\sum_{k=0}^{n-1}\frac{(n-1)!}{k!(n-1-k)!}(k+1)p^kq^{(n-1-k)}-\mu^2\\ &=\mu\sum_{k=0}^m\frac{m!}{(k)!(m-k)!}kp^kq^{(m-k)}+\mu-\mu^2\\ &=\mu(n-1)p+\mu-\mu^2\\ &=np-np^2\\ &=npq \end{align} \]关于这里面的概率系数\(C_{n}^{i}p^iq^{n-i}\)，我们可以把它画出来看一下： import numpy as np import matplotlib.pyplot as plt def C(n,k,p): return p**n if k==0 else (1-p)**n if k==n else p**k*(1-p)**(n-k)*np.prod(np.arange(1,n+1))/np.prod(np.arange(1,k+1))/np.prod(np.arange(1,n-k+1)) vC = lambda n,kk, p: [C(n,k,p) for k in kk] N=20 p=0.5 kk = np.arange(N+1) res = vC(N,kk,p) plt.figure() plt.plot(kk,res,color='black') plt.plot(kk,res,'o',color='red') plt.show()
泊松分布
泊松分布可以看作是二项分布的变种，事件都是一系列的伯努利分布，但是每个事件发生的概率由如下形式给出： \[Pr(X=k)=p(k;\lambda)=\frac{e^{-\lambda}\lambda^k}{k!} \]同样的我们也可以把这个分布画出来： import numpy as np import matplotlib.pyplot as plt N = 20 k = np.arange(N+1) ps = lambda lbd, kk: [np.exp(-lbd) if k==0 else np.exp(-lbd)*(lbd**k)/np.prod(np.arange(1, k+1)) for k in kk] plt.figure() plt.plot(k, ps(0.1, k), label=r'$\lambda=0.1$') plt.plot(k, ps(0.5, k), label=r'$\lambda=0.5$') plt.plot(k, ps(1, k), label=r'$\lambda=1$') plt.plot(k, ps(2, k), label=r'$\lambda=2$') plt.plot(k, ps(3, k), label=r'$\lambda=3$') plt.plot(k, ps(4, k), label=r'$\lambda=4$') plt.plot(k, ps(5, k), label=r'$\lambda=5$') plt.plot(k, ps(6, k), label=r'$\lambda=6$') plt.legend() plt.show()得到的结果如下： 
这是一个\(\lambda\)越小，整体采样分布越靠近\(0\)的概率函数。那么我们可以使用期望值的定义来计算泊松分布的期望值： \[\mu=E(X)=\sum_{k=0}^NX_k\frac{e^{-\lambda}\lambda^k}{k!}=\lambda\sum_{k=1}^N \frac{e^{-\lambda}\lambda^{(k-1)}}{(k-1)!}=\lambda\sum_{n=0}^N \frac{e^{-\lambda}\lambda^n}{n!}=\lambda\sum_{n=0}^N Pr(X_n)=\lambda \]类似地，泊松分布的方差为： \[\begin{align} \sigma^2=E(X^2)-\mu^2&=\sum_{k=0}^Nk^2\frac{e^{-\lambda}\lambda^k}{k!}-\mu^2\\ &=\sum_{k=1}^Nk\frac{e^{-\lambda}\lambda^k}{(k-1)!}-\mu^2\\ &=e^{-\lambda}\lambda+\lambda\sum_{k=2}^Nk\frac{e^{-\lambda}\lambda^(k-1)}{(k-1)!}-\mu^2\\ &=e^{-\lambda}\lambda+\lambda\sum_{m=1}^N(m+1)\frac{e^{-\lambda}\lambda^m}{m!}-\mu^2\\ &=e^{-\lambda}\lambda+\lambda\sum_{m=1}^Nm\frac{e^{-\lambda}\lambda^m}{m!}+\lambda\sum_{m=1}^N\frac{e^{-\lambda}\lambda^m}{m!}-\mu^2\\ &=e^{-\lambda}\lambda+\lambda^2+\lambda(1-e^{-\lambda})-\lambda^2\\ &=\lambda \end{align} \]正态分布正态分布是一个极其重要的连续分布，其概率密度函数为： \[f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2} \]看到这个形式的概率密度函数，我们应该率先想到高斯积分： \[I=\int_{-\infty}^{+\infty}e^{-x^2}dx \]对该积分取一个平方，形式变成了一个二元积分： \[I^2=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}e^{-(x^2+y^2)}dxdy \]要求解这个积分，常规的方法是做一个极坐标变换，在知乎上有一个问题专门讨论了直角坐标系与极坐标系两个不同的矢量空间的积分问题。我们知道上述积分表达式中的\(dxdy\)表示的是一个面积元\(dS\)，那么能直接定义\(dS=dxdy\)吗？其实我们画两个图就看明白了： 
在这个图中可以看出，其实只有在\(x,y\)为正交的坐标系下（即矢量\(d\textbf{x}\cdot d\textbf{y}\)=0时）才成立。关于面积元更加准确的定义应该是这样的： \[d\textbf{S}=d\textbf{x}\times d\textbf{y}=dxdy\sin\theta \]因此对于一个坐标变换\(x=f(m,n),y=g(m,n)\)来说，对应的面积元的变换形式为： \[\begin{align} d\textbf{S}=d\textbf{x}\times d\textbf{y}&=\left[\frac{df(m,n)}{dm}d\textbf{m}+\frac{df(m,n)}{dn}d\textbf{n}\right]\times\left[\frac{dg(m,n)}{dm}d\textbf{m}+\frac{dg(m,n)}{dn}d\textbf{n}\right]\\ &=\frac{df(m,n)}{dm}\frac{dg(m,n)}{dn}d\textbf{m}\times d\textbf{n}+\frac{df(m,n)}{dn}\frac{dg(m,n)}{dm}d\textbf{n}\times d\textbf{m}\\ &=\left[\frac{df(m,n)}{dm}\frac{dg(m,n)}{dn}-\frac{df(m,n)}{dn}\frac{dg(m,n)}{dm}\right]d\textbf{m}\times d\textbf{n} \end{align} \]此时代入一个极坐标变换\(x=f(r,\theta)=r\cos\theta,y=g(r,\theta)=r\sin\theta\)有： \[\begin{align} d\textbf{x}\times d\textbf{y}&=(\cos\theta\cdot r\cos\theta+r\sin\theta\cdot\sin\theta)d\vec{r}\times d\vec{\theta}\\ &=rd\vec{r}d\vec{\theta} \end{align} \]所以常规的写法就是\(dxdy=rdrd\theta\)，那么此时再回到高斯积分： \[\begin{align} I^2&=\int_{-\pi}^{\pi}\int_{0}^{+\infty}e^{-r^2}rdrd\theta\\ &=-\frac{1}{2}\int_{-\pi}^{\pi}\left(\left.e^{-r^2}\right|_{0}^{+\infty}\right)d\theta\\ &=\frac{1}{2}\int_{-\pi}^{\pi}d\theta\\ &=\pi \end{align} \]即\(I=\int_{-\infty}^{+\infty}e^{-x^2}dx=\sqrt{\pi}\)。此时回头看正态分布有： \[\begin{align} \int_{-\infty}^{+\infty}e^{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2}dx&=\int_{-\infty}^{+\infty}e^{-(\frac{x}{\sqrt{2}\sigma})^2}dx\\ &=\sqrt{2}\sigma\int_{-\infty}^{+\infty}e^{-y^2}dy\\ &=\sqrt{2\pi}\sigma \end{align} \]也就是说，\(\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2}dx\)，这表示正态分布给出的概率函数，在\(x\)轴上的积分为1，这符合我们对概率密度函数的预期。很显然的是，正态分布函数\(f(x)\)是关于\(x=\mu\)对称的一个函数，即\(P(x\mu)\)，按照连续分布的期望值定义： \[\begin{align} E(x)=\int xf(x)dx&=\int_{x\mu}xf(x)dx\\ &=\int_{x |
【本文地址】
今日新闻 |
推荐新闻 |