Pearson、Spearman秩相关系数、kendall等级相关系数 (附python实现)

您所在的位置:网站首页 皮尔逊相关系数接近0 Pearson、Spearman秩相关系数、kendall等级相关系数 (附python实现)

Pearson、Spearman秩相关系数、kendall等级相关系数 (附python实现)

2023-07-18 11:14| 来源: 网络整理| 查看: 265

目录:

相关系数

Pearson

Spearman

Kendall

  相关系数

 

相关系数:考察两个事物(在数据里我们称之为变量)之间的相关程度。

 

如果有两个变量:X、Y,最终计算出的相关系数的含义可以有如下理解:

(1)、当相关系数为0时,X和Y两变量无关系。

(2)、当X的值增大(减小),Y值增大(减小),两个变量为正相关,相关系数在0.00与1.00之间。

(3)、当X的值增大(减小),Y值减小(增大),两个变量为负相关,相关系数在-1.00与0.00之间。

 

相关系数的绝对值越大,相关性越强,相关系数越接近于1或-1,相关度越强,相关系数越接近于0,相关度越弱。

 

通常情况下通过以下取值范围判断变量的相关强度:

相关系数     0.8-1.0     极强相关                 0.6-0.8     强相关                 0.4-0.6     中等程度相关                 0.2-0.4     弱相关                 0.0-0.2     极弱相关或无相关

 

Pearson(皮尔逊)相关系数

皮尔逊相关也称为积差相关(或积矩相关)是英国统计学家皮尔逊于20世纪提出的一种计算直线相关的方法。

 

假设有两个变量X、Y,那么两变量间的皮尔逊相关系数可通过以下公式计算:

 以上列出的四个公式等价,其中E是数学期望,cov表示协方差,N表示变量取值的个数。

 

适用范围

当两个变量的标准差都不为零时,相关系数才有定义,皮尔逊相关系数适用于:

(1)、两个变量之间是线性关系,都是连续数据。

(2)、两个变量的总体是正态分布,或接近正态的单峰分布。

(3)、两个变量的观测值是成对的,每对观测值之间相互独立。

 

pearson 描述的是线性相关关系,取值[-1, 1]。负数表示负相关,正数表示正相关。在显著性的前提下,绝对值越大,相关性越强。绝对值为0, 无线性关系;绝对值为1表示完全线性相关。

 

Python 实现

DataFrame.corr(method='pearson', min_periods=1)

参数说明:

method:可选值为{‘pearson’, ‘kendall’, ‘spearman’}       

min_periods:样本最少的数据量

返回值:各类型之间的相关系数DataFrame表格。

a) Dataframe.corr(method='pearson'), 返回相关关系矩阵 b) from scipy.stats import normaltest, probplot normaltest(a)返回统计数和检验P值, 样本要求>20。 probplot(np.array(x,y), dist="norm", plot=pylab) 化PP图,若在对角线,则相关性强。

  

example:

import pandas as pd df = pd.read_csv('demo.csv') ## 计算相关度系数 ## df.corr() #计算pearson相关系数 #df.corr('kendall') #计算kendall相关系数 #df.corr('spearman') #计算spearman相关系数

 

funded_amnt funded_amnt_inv funded_amnt 1.00000 0.92876 funded_amnt_inv 0.92876 1.00000   Spearman Rank(斯皮尔曼等级)相关系数

在统计学中,斯皮尔曼等级相关系数以Charles Spearman命名,并经常用希腊字母ρ(rho)表示其值。斯皮尔曼等级相关系数用来估计两个变量X、Y之间的相关性,其中变量间的相关性可以使用单调函数来描述。如果两个变量取值的两个集合中均不存在相同的两个元素,那么,当其中一个变量可以表示为另一个变量的很好的单调函数时(即两个变量的变化趋势相同),两个变量之间的ρ可以达到+1或-1。

 

假设两个随机变量分别为X、Y(也可以看做两个集合),它们的元素个数均为N,两个随即变量取的第i(120。

 

Kendall Rank(肯德尔等级)相关系数

在统计学中,肯德尔相关系数是以Maurice Kendall命名的,并经常用希腊字母τ(tau)表示其值。肯德尔相关系数是一个用来测量两个随机变量相关性的统计值。一个肯德尔检验是一个无参数假设检验,它使用计算而得的相关系数去检验两个随机变量的统计依赖性。肯德尔相关系数的取值范围在-1到1之间,当τ为1时,表示两个随机变量拥有一致的等级相关性;当τ为-1时,表示两个随机变量拥有完全相反的等级相关性;当τ为0时,表示两个随机变量是相互独立的。

 

假设两个随机变量分别为X、Y(也可以看做两个集合),它们的元素个数均为N,两个随即变量取的第i(1



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3