如何直观地理解「协方差矩阵」? |
您所在的位置:网站首页 › 如何理解概率分布理论 › 如何直观地理解「协方差矩阵」? |
协方差矩阵在统计学和机器学习中随处可见,一般而言,可视作方差和协方差两部分组成,即方差构成了对角线上的元素,协方差构成了非对角线上的元素。本文旨在从几何角度介绍我们所熟知的协方差矩阵。文章结构方差和协方差的定义从方差/协方差到协方差矩阵多元正态分布与线性变换协方差矩阵的特征值分解1. 方差和协方差的定义在统计学中,方差是用来度量单个随机变量的离散程度,而协方差则一般用来刻画两个随机变量的相似程度,其中,方差的计算公式为 在此基础上,协方差的计算公式被定义为
在公式中,符号 根据方差的定义,给定
其中,为方便书写, 对于这些随机变量,我们还可以根据协方差的定义,求出两两之间的协方差,即
因此,协方差矩阵为
其中,对角线上的元素为各个随机变量的方差,非对角线上的元素为两两随机变量之间的协方差,根据协方差的定义,我们可以认定:矩阵 令该分布的均值向量为
再令
用单位矩阵(identity matrix) ![]() 在生成的若干个随机数中,每个点的似然为
对图1中的所有点考虑一个线性变换(linear transformation): ![]() 在线性变换中,矩阵
其中, 在这个例子中,尺度矩阵为
另外,需要考虑的是,经过了线性变换, 将
由此可以得到,多元正态分布的协方差矩阵为
其中, 当然,这条公式在这里也可以很容易地写成如下形式:
其中, 在上面的例子中,特征向量构成的矩阵为
特征值构成的矩阵为
到这里,我们发现:多元正态分布的概率密度是由协方差矩阵的特征向量控制旋转(rotation),特征值控制尺度(scale),除了协方差矩阵,均值向量会控制概率密度的位置,在图1和图2中,均值向量为 一、《矩阵计算》被誉为数值计算领域的“圣经”,该书以线性代数为基础,系统地介绍了矩阵计算的基本理论和方法,并附有大量算法、习题和参考文献,据谷歌学术 (Google Scholar) 引用数据显示,该书已被引用超过7.5万次,是一本不可多得的好书。目前,人民邮电出版社已获得授权在国内出版,并发行了中文版与英文版。 二、机器学习领域经典中文著作《机器学习》,南京大学周志华教授西瓜书。 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |