【数学建模】皮尔逊相关系数和假设检验

您所在的位置:网站首页 皮尔逊相关系数适用条件 【数学建模】皮尔逊相关系数和假设检验

【数学建模】皮尔逊相关系数和假设检验

2023-06-25 06:48| 来源: 网络整理| 查看: 265

文章目录 前言一、pearson相关系数(Covariance)1. 协方差2.皮尔逊相关系数(Pearson Correlation Coefficient)3. 相关系数的评价 二、使用条件三、使用步骤1.对数据进行描述性分析2. 绘制散点图3. pearson检验 四、假设检验正态分布检验假设检验 总结补充 spearman相关系数

前言

为了说明两组数据之间的相关性,例如身高与50米跑步的成绩,我们引入相关系数,本文先介绍person相关系数以及在特定情况下的使用方法。

一、pearson相关系数(Covariance)

Person相关系数在 满足特定条件下 用来衡量两个变量之间的相关性。

1. 协方差

在正式介绍person相关系数之前,我们先引入协方差的概念 协方差是一个反映两个随机变量相关程度的指标,比如,一个人的身高和体重是否存在一些联系。公式如下: 在这里插入图片描述 其中 n为样本数量, x ‾ \overline{x} x 为样本均值。

如果x、y变化方向相同,即当 x > x ‾ x>\overline{x} x>x其均值是, y > y ‾ y>\overline{y} y>y​其均值,在这种情况下,乘积为正。如果x、y的变化方向一直保持相同,则协方差为正;同理,如果x、y的变化方向一直保持相反,则协方差为负;如果x、y的变化方向之间相互无规律,即分子中有的项为正、有的项为负,那么累加后正负抵消。

协方差越大,那么二者之间变化的趋势就越接近。

2.皮尔逊相关系数(Pearson Correlation Coefficient)

Pearson相关系数是用协方差除以两个变量的标准差得到的,公式如下: 在这里插入图片描述 除以标准差的目的是消除量纲的影响,Pearson相关系数取[-1,1之间。皮尔逊相关系数其实就是标准化后的协方差

3. 相关系数的评价 相关性负正无相关-0.09~00~0.09弱相关-0.3~-0.10.1~0.3中相关-0.5~-0.30.3~0.5强相关-1~-0.50.5~1.0

事实上,比起相关系数的大小,我们往往更关注的是显著性(假设检验)。

二、使用条件

必须得确定两个变量之间是线性相关的,否则非线性相关也会导致pearson相关系数很大。存在异常点的影响也可能导致两个变量之间的相关系数变大。我们常用散点图的方法确定两个变量之间的是否线性相关,然后再描述线性相关程度。 在这里插入图片描述 因此在进行相关性的分析时一定要配合散点图,否则是无效的。

三、使用步骤 1.对数据进行描述性分析

推荐spsspro工具,简单高效。 在这里插入图片描述 在这里插入图片描述 或者python的pandas库,使用 Dataframe.describe()函数

data = pd.read_csv( 'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv') print(data.describe())

在这里插入图片描述 答题之前先对数据进行描述性分析是个好习惯,不管以上分析有用没用,都是一种学术严谨的表现。

2. 绘制散点图

前面提到 绘制散点图是检查数据是否可用pearson相关性分析的必要条件,这里我们用python matpolit,对以上六个特征列取两两绘制散点图。

plt.figure(figsize=(60,50)) num = 1 for i in range(6): for j in range(6): plt.subplot(6,6,num) plt.scatter(df.iloc[:,i],df.iloc[:,j],s=2) plt.title(df.iloc[:,i].name+"--"+df.iloc[:,j].name) num = num+1 # plt.tight_layout() plt.show()

绘制结果如下: 在这里插入图片描述 由于我这里数据是假的,因此散点图的显示基本上没有相关性可言,不要在意这些细节,方法就是这么个方法,让我们继续。

3. pearson检验

推荐spasspro工具,简单高效还免费 在这里插入图片描述 相关性分析结果 在这里插入图片描述 显著性水平 ()中为假设检验的P值,我们假设 H 0 : r = 0 , H_0:r=0, H0​:r=0,即该两列数据相关性为0 而 H 1 : r ≠ 0 H_1:r\neq0 H1​:r=0即该两列数据相关性不为0。

当 P



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3