原文地址1：https://www.face2ai.com/Math-Probability-4-6-Covariance-and-Correlation转载请标明出处

Abstract: 本文介绍协方差和相关性的基础知识，以及部分性质 Keywords: Covariance,Correlation,Properties of Covariance and Correlation

概率论基础知识，基础工具已经进入到后半部分了，接下来后面就是对特定分布的研究和分析了，使用的工具就是我们已经介绍过的这些知识，融汇贯通是所有知识学习的唯一考量，掌握的知识点如果不能融入体系，一个月后就相当于没学过，但是成体系的知识不同，只要有一个根节点，就能联系到整个一颗知识树。

一杯敬朝阳，一杯敬月光

我们前面几个重要的数字特征针对的基本都是单一随机变量，我们很清楚，我们在实际操作中面对的基本都是多随机变量的联合分布，那么我们接下来就想研究下，两个或者多个随机变量之间是怎么互相影响的。 协方差(Covariance)，相关性(Correlation)是度量随机变量间独立性的一种数字特征，但是必须注意，这两个数字特征度量的是随机变量之间的 线性相关程度 ，这里要好好注意一下！线性相关程度。 注意，协方差和相关性，只刻画线性相关程度！

当我们将随机变量从一个扩展到多个，前面提到的期望，方差，中值等这些针对单个随机变量的数字特征就只能刻画联合分布的某一边缘分布的性质了。所以我们提出了新的数字特征，这个数字特征能描述两个随机变量之间有没有变化上的关系，比如他们经常同时变大或者变小，或者总是一个变大另一个变小，这种关联的关系。 通过这种数字特征，我们能够在求出若干个这种变量的方差，以及通过已经得到的几个随机变量的结果来预测其他几个。如果确定了这几个随机变量之间的关联，这些似乎都是可行的。

Definition Covariance. Let X X X and Y Y Y be random variables having finite means.Let E ( X ) = μ X E(X)=\mu_X E(X)=μX​ and E ( Y ) = μ Y E(Y)=\mu_Y E(Y)=μY​ The covariance of X and Y,which is denoted by C o v ( X , Y ) Cov(X,Y) Cov(X,Y) ,is defined as C o v ( X , Y ) = E [ ( X − μ X ) ( Y − μ Y ) ] Cov(X,Y)=E[(X-\mu_X)(Y-\mu_Y)] Cov(X,Y)=E[(X−μX​)(Y−μY​)] if the expectation exists.

没错我们本章就是在研究期望，所以，本章所有的数字特征都来自期望，期望的存在性也左右了这些数字特征的存在性。 如果 X 和Y的都有有限的方差，那么期望存在，并且 C o v ( X , Y ) Cov(X,Y) Cov(X,Y) 存在且有限，但是正负不受限制，可以是正数，负数，0

举个🌰 ： 已知随机变量 X X X 和 Y Y Y 有联合p.d.f. f ( x , y ) = { 2 x y + 0.5  for  0 ≤ x ≤ 1  and  0 ≤ y ≤ 1 0 otherwise f(x,y)= \begin{cases} 2xy+0.5&\text{ for } 0\leq x\leq 1 \text{ and } 0\leq y\leq 1\\ 0&\text{otherwise} \end{cases} f(x,y)={2xy+0.50​ for 0≤x≤1 and 0≤y≤1otherwise​ 我们来计算 X X X 和 Y Y Y 的协方差。

首先我们要做的是计算均值，求 μ X , μ Y \mu_X,\mu_Y μX​,μY​

μ X = ∫ 0 1 ∫ 0 1 [ 2 x 2 y + 0.5 x ] d y d x = ∫ 0 1 [ x 2 + 0.5 x ] d x = 7 12 \begin{aligned} \mu_X&=\int^{1}_{0}\int^{1}_{0}[2x^2y+0.5x]dydx\\ &=\int^{1}_{0}[x^2+0.5x]dx\\ &=\frac{7}{12} \end{aligned} μX​​=∫01​∫01​[2x2y+0.5x]dydx=∫01​[x2+0.5x]dx=127​​

同理可以求出 μ Y = 7 12 \mu_Y=\frac{7}{12} μY​=127​ 接下来就是求协方差了: ∫ 0 1 ∫ 0 1 ( x − 7 12 ) ( y − 7 12 ) ( 2 x y + 0.5 ) d y d x \int^{1}_{0}\int^{1}_{0}(x-\frac{7}{12})(y-\frac{7}{12})(2xy+0.5)dydx ∫01​∫01​(x−127​)(y−127​)(2xy+0.5)dydx 求积分就不写了，很简单，结果是 C o v ( X , Y ) = 1 144 Cov(X,Y)=\frac{1}{144} Cov(X,Y)=1441​

按照定义算肯定不是最优的，有一个公理好像是说你永远不能一下就找到最优方法。计算协方差也是一样的。

Theorem For all random variables X and Y such that σ X 2 < ∞ \sigma^2_{X}μY​ 。是否一定会出现 Y > μ Y Y > \mu_Y Y>μY​ ？这个是不确定的，但是发生概率极大。 同样的情况适合于协方差是负数，或者$ X < \mu_X$ 的情况 当协方差是0，那么 X X X 与 Y Y Y 对应于其均值的大小变换比较随意，没有太大的一致性.

上面介绍的就是协方差的一些情况，接下来就是相关性的引入。

今天讲解两个数字特征，协方差和相关性，这两个数字特征最终目的一样都是想描述多个变量之间一致性变化的特点，比如，当 X X X 为较大值的时候 Y Y Y 有很大的可能取较大值，注意，我们前面给出的协方差的大小就是这个可能性的一种描述，但是，这个描述也有问题，他不稳定，为啥不稳定， 比如说随机变量 X X X 和随机变量 Y Y Y 他们的协方差是 C o v ( X , Y ) Cov(X,Y) Cov(X,Y) 根据协方差的计算法则，当我们把随机变量变成 2 X 2X 2X 和 Y Y Y 的时候 C o v ( 2 X , Y ) = 2 C o v ( X , Y ) Cov(2X,Y)=2Cov(X,Y) Cov(2X,Y)=2Cov(X,Y) ，但他们的一致性关系应该是不变的，只是对应的随机变量的可能值变化了不少，一致性并不改变，我们需要一种数字特征能描述这种一致性，不因为随机变量伸缩而改变。

Definition Correlation.Let X and Y be random variables with finite variances σ X 2 \sigma^2_{X} σX2​ and σ Y 2 \sigma^2_{Y} σY2​ ,respectively. Then the correlation of X X X and Y Y Y ,which is denoted by ρ ( X , Y ) \rho(X,Y) ρ(X,Y) ,is defined as follow: ρ ( X , Y ) = C o v ( X , Y ) σ X 2 σ Y 2 \rho(X,Y)=\frac{Cov(X,Y)}{\sigma_X^2 \sigma_Y^2} ρ(X,Y)=σX2​σY2​Cov(X,Y)​

回想一下，我们似乎见过这种比值形式的定义，没错，4-4中的偏度也是这种定义形式，其给出的解释去除分母上的特征对目标特征的影响，于是我们可以看出，当协方差去除分布离散程度以后，就是我们的相关度特征了。 接着我们有一个重要的不等式需要了解。

Theorem Schwarz Inequality.For all random variables U U U and V V V such that E ( U V ) E(UV) E(UV) exists, [ E ( U V ) ] 2 ≤ E ( U 2 ) E ( V 2 ) [E(UV)]^2\leq E(U^2)E(V^2) [E(UV)]2≤E(U2)E(V2) If,in addition,the right-hand side of [ E ( U V ) ] 2 ≤ E ( U 2 ) E ( V 2 ) [E(UV)]^2\leq E(U^2)E(V^2) [E(UV)]2≤E(U2)E(V2) is finite,then the two sides of it equal the same value if and only if there are nonzero constants a a a and b b b such that a U + b V = 0 aU+bV=0 aU+bV=0 with probability 1.

首先给出了两个随机变量的期望的相关不等式，我们会在接下来完成证明，但是补充条款更有意思，说的是，小于等于号右边如果是有限的，那么等号成立当且仅当存在非零常数 a a a 和 b b b 使得 a U + b V = 0 aU+bV=0 aU+bV=0 横成立（或者叫做概率为1）

那么我们来证明这个定理。 证明：