正态分布的特征函数的数学推导

您所在的位置:网站首页 pi求法 正态分布的特征函数的数学推导

正态分布的特征函数的数学推导

2023-04-12 18:52| 来源: 网络整理| 查看: 265

1. 正态分布也称高斯分布(Normal distribution or Gaussian distribution)

设随机变量X服从正态分布\color{red }{N\left( \mu,\sigma^{2} \right)},其概率密度函数(probability density function, PDF)为:

\color{orange}{f\left( x \right)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{\left( x-\mu \right)^{2}}{2\sigma^{2}}}}\\

2. 特征函数(Characteristic function, CF)

特征函数是随机变量X的概率密度函数或概率质量函数(Probability mass function, PMF)通过傅里叶变换(Fourier transform)得到的一种函数,能够完全描述随机变量X的特征值之中的原点矩(Origin moment or Raw Moment);也可以把特征函数理解成,以随机变量X为参数的一个以自然数 e 为底数的指数函数(Exponential function)。特征函数是证明 \large\color{red}{\textbf{中心极限定理}}(Central limit theorem )的一种有力工具(很多教科书省略了中心极限定理的证明就是因为特征函数,没有特征函数这个工具基础,很难在“质”上面理解中心极限定理乃至整个后续的运用数理统计)。其公式表述如下:

\color{purple}{\varphi_{X}\left( t \right)=E\left( e^{itX} \right)=\int_{-\infty}^{\infty}e^{itx}f\left( x \right)dx}\\

其中, \varphi_{a}\left( t \right) 表示以 t 为自变量的特征函数; i 是虚数单位;E 表示数学期望(Expected value or Expectation); X 是随机变量; f\left( x \right) 是随机变量 X 的概率密度函数。

3. 标准正态分布(Standard normal distribution)

设随机变量X服从标准正态分布 \color{red }{N\left( 0,1 \right)},其概率密度函数为:

\color{maroon }{f\left( x \right)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^{2}}{2}}}\\

累积分布函数(Cumulative distribution function)为: F\left( x \right)=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^{2}}{2}}dt\\

根据概率的规范性(所有概率之和等于1)有:

\color{fuchsia}{1=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^{2}}{2}}dt}\\

对其进行化简得:

\color{blue}{1=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^{2}}{2}}dt}\\ \color{blue}{\ \ =\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-\frac{t^{2}}{2}}dt}\\ \color{red}{\sqrt{2\pi}=\int_{-\infty}^{\infty}e^{-\frac{t^{2}}{2}}dt}\\\4.一般正态分布的特征函数的推导

把一般正态分布的密度函数

\color{orange}{f\left( x \right)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{\left( x-\mu \right)^{2}}{2\sigma}}}\\

带入特征函数公式

\color{purple}{\varphi_{X}\left( t \right)=\int_{-\infty}^{\infty}e^{itx}f\left( x \right)dx}\\ 得一般正态分布密度函数的特征函数:

\color{purple}{\varphi_{X}\left( t \right)=E\left( e^{itX} \right)=\int_{-\infty}^{\infty}e^{itx}\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{\left( x-\mu \right)^{2}}{2\sigma^{2}}}dx}\\ 把上式化简成下列形式

\color{purple}{\varphi_{X}\left( t \right)=\int_{-\infty}^{\infty}e^{itx}\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{\left( x-\mu \right)^{2}}{2\sigma^{2}}}dx}\\ \color{purple}{=\frac{1}{\sigma\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{itx}e^{-\frac{\left( x-\mu \right)^{2}}{2\sigma^{2}}}dx}\\ \color{purple}{=\frac{1}{\sigma\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{-\frac{\left( x-\mu \right)^{2}-2\sigma^{2}itx}{2\sigma^{2}}}dx}\\ \color{purple}{=\frac{1}{\sigma\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{-\frac{\left( x-\sigma^{2}it-\mu \right)^{2}+\sigma^{4}t^{2}-2\sigma^{2}it\mu}{2\sigma^{2}}}dx}\\ \color{purple}{=\frac{1}{\sigma\sqrt{2\pi}}e^{\left( \frac{-\sigma^{2}t^{2}}{2}+it\mu\right)} \int_{-\infty}^{\infty}e^{-\frac{\left( x-\sigma^{2}it-\mu \right)^{2}}{2\sigma}}dx}\\ \color{purple}{=\sigma\frac{1}{\sigma\sqrt{2\pi}}e^{\left( \frac{-\sigma^{2}t^{2}}{2}+it\mu\right)} \int_{-\infty}^{\infty}e^{-\frac{\left( \frac{x-\sigma^{2}it-\mu}{\sigma} \right)^{2}}{2}}d\left( \frac{x-\sigma^{2}it-\mu}{\sigma} \right)}\\ 令t=\left( \frac{x-\sigma^{2}it-\mu}{\sigma} \right),(注意,这种变换不影响积分的上下限)得\\ \color{purple}{=\frac{1}{\sqrt{2\pi}}e^{\left( \frac{-\sigma^{2}t^{2}}{2}+it\mu\right)} \int_{-\infty}^{\infty}e^{-\frac{t^2}{2}}dt}\\ \color{red}{利用第3点标准正态累积分布函数的最终化简结果}\\ \color{red}{\sqrt{2\pi}=\int_{-\infty}^{\infty}e^{-\frac{t^{2}}{2}}dt}\\ \color{purple}{=\frac{1}{\sqrt{2\pi}}e^{\left( \frac{-\sigma^{2}t^{2}}{2}+it\mu\right)} \color{red}{\sqrt{2\pi}}}\\ \large\color{green}{=e^{it\mu-\frac{1}{2}\sigma^{2}t^{2}} }\\ 综上,一般正态分布的特征函数为

\large\color{green}{\varphi_{X}\left( t \right)=e^{it\mu-\frac{1}{2}\sigma^{2}t^{2}} }\\

令 \mu=0 ; \sigma^{2}=1 代入上式,可得 \large\color{red }{标准正态分布的特征函数} 。

\large\color{red}{\varphi_{X_{N}}\left( t \right)=e^{-\frac{1}{2}t^{2}} }\\

5. 利用特征函数求随机变量X的特征值

根据上面第4点求得的一般正态分布概率密度函数的特征函数,可以很容易求一般正态分布随机变量X的期望(也称为一阶原点矩),具体求法如下:

首先,对特征函数

\color{teal}{\varphi_{X}\left( t \right)=e^{it\mu-\frac{1}{2}\sigma^{2}t^{2}} }\\

两边同时对变量t求导数,得

\color{teal}{\varphi_{X}\left( t \right)^{'}=\left( i\mu-\sigma^{2}t \right)e^{it\mu-\frac{1}{2}\sigma^{2}t^{2}} }\\ 其次,令 t=0 代入,得

\color{teal}{\varphi_{X}\left( 0 \right)^{'}=\left( i\mu-\sigma^{2}0 \right)e^{i0\mu-\frac{1}{2}\sigma^{2}0^{2}} }\color{teal}{=i\mu}\\ 最后,解上式,得期望

\color{teal}{\mu=\frac{\varphi_{X}\left( 0 \right)^{'}}{i}}\\以此类推,对 \large\color{red}{\textbf{特征函数}} 求二阶导数可得正态分布的二阶原点矩,求三阶导数三阶原点矩,……。另外,通过公式

D\left( X \right)=E\left(x^{2} \right)-\left[ E\left( x \right) \right]^{2}\\ 又可以求出中心矩(Central moment)。这意味着 \large\color{red}{\textbf{特征函数}} 完全描述了正态分布的原点矩中心矩

\large \color{red}{数学世界就是这么神奇,通过一个变换竟然得到一个可以完全描述随机变量X分布特征的所有情况的函数。}\\

参考文献:

1、https://en.wikipedia.org/wiki/Characteristic_function_(probability_theory)

2、Jaynes E T. Probability theory: The logic of science[M]. Cambridge university press, 2003.

3、Dekking F M, Kraaikamp C, Lopuhaä H P, et al. A Modern Introduction to Probability and Statistics: Understanding why and how[M]. London: Springer, 2005.

4、James T. McClave Statistics[M]. Pearson; 12th edition (January 6, 2012)

5、Schmetterer L. Introduction to mathematical statistics[M]. Springer Science & Business Media, 2012.

6、Loève M. Probability theory[M]. Courier Dover Publications, 2017.



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3