【python数据分析】正态分布、正态性检验与相关性分析

您所在的位置:网站首页 qq图判断正态分布 【python数据分析】正态分布、正态性检验与相关性分析

【python数据分析】正态分布、正态性检验与相关性分析

2024-07-06 11:52| 来源: 网络整理| 查看: 265

正态分布、正态性检验与相关性分析 1 正态分布2 正态性检验2.1 直方图初判2.2 QQ图2.3 K-S检验2.3.1 计算推导2.3.2 代码一步到位 3 相关性分析3.1 图示初判3.2 Pearson相关系数3.2.1 计算推导3.2.2 代码一步到位 3.3 Sperman秩相关系数3.3.1 计算推导3.3.2 代码一步到位 4 总结 手动反爬虫: 原博地址

知识梳理不易,请尊重劳动成果,文章仅发布在CSDN网站上,在其他网站看到该博文均属于未经作者授权的恶意爬取信息

如若转载,请标明出处,谢谢!

1 正态分布

正态分布概念是由法国数学家和天文学家棣莫弗(Abraham de Moivre)于1733年首次提出的,后由德国数学家Gauss率先将其应用于天文学研究,故正态分布又叫高斯分布

若随机变量 X X X服从一个数学期望为 μ μ μ、方差为 σ 2 σ^{2} σ2的正态分布,记为 N ( μ , σ 2 ) N(μ,σ^{2}) N(μ,σ2)。其概率密度函数为正态分布的期望值μ决定了其位置,其标准差 σ σ σ决定了分布的幅度。当 μ = 0 , σ = 1 μ = 0,σ = 1 μ=0,σ=1时的正态分布是标准正态分布

正态分布对应的概率密度函数: f ( x ) = 1 2 π σ e x p ( − ( x − μ ) 2 2 σ 2 ) f(x) = \frac{1}{\sqrt{2\pi}σ}exp(-\frac{(x-μ)^{2}}{2σ^{2}}) f(x)=2π ​σ1​exp(−2σ2(x−μ)2​)标准正态分布对应的概率密度函数: f ( x ) = 1 2 π e ( − x 2 2 ) f(x) = \frac{1}{\sqrt{2\pi}}e^{(-\frac{x^{2}}{2})} f(x)=2π ​1​e(−2x2​)正态分布曲线呈钟型,两头低,中间高,左右对称因其曲线呈钟形,因此人们又经常称之为钟形曲线。 在这里插入图片描述

(1)集中性:正态分布曲线的高峰位于正中央,即均数所在的位置(2)对称性:正态曲线以均数为中心,左右对称,曲线两端永远不与横轴相交(3)均匀变动性:正态曲线有均数所在处开始,分别向左右两侧逐渐均匀下降(4)概率为1:曲线与横轴间的面积总等于1,相当于概率密度函数从从负无穷到正无穷的积分值为1,即频率的总和为100%(5) μ μ μ决定分布的中心位置; σ σ σ越大,曲线越矮胖,总体分布越分散,反之曲线越瘦高,总体分布越集中

对于数据分析过程中的正态分布的理解:

并不是所有的数据都是满足正态分布(比如幂律分布)并不是必须满足正态分布才能作分析通过正态分布作为参考去理解事物规律可以通过多种方式进行正态性检验 2 正态性检验

编程环境是在jupyter notebook中

2.1 直方图初判

这里随机生成数据

import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline s = pd.DataFrame(np.random.randn(1000)+10, columns = ['values']) fig = plt.figure(figsize=(10,6),dpi = 500) ax1 = fig.add_subplot(2,1,1) ax1.scatter(s.index,s.values,edgecolor = 'black') ax2 = fig.add_subplot(2,1,2) s.hist(bins = 20,ax = ax2,edgecolor = 'black') s.plot(kind = 'kde', secondary_y = True, ax = ax2)

输出结果为:(可以发现绘制的密度曲线满足正态分布的曲线样式)在这里插入图片描述

2.2 QQ图

QQ图通过把测试样本数据的分位数与已知分布相比较,从而来检验数据的分布情况

QQ图是一种散点图,对应于正态分布的QQ图,就是由标准正态分布的分位数为横坐标,样本值为纵坐标的散点图

参考直线:四分之一分位点和四分之三分位点这两点确定,看散点是否落在这条线的附近

绘制思路:

(1) 在做好数据清洗后,对数据进行排序(次序统计量:x(1)D(n,α) 如果p>0.05则接受H0,p


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3