PCA主成分分析原理的三种角度的理解 |
您所在的位置:网站首页 › 两个向量间的夹角怎么看 › PCA主成分分析原理的三种角度的理解 |
主成分分析算是降维算法中的一个经典算法了。网上也有很多博客介绍了这个算法。这篇文章从三个不同的角度,对PCA方法做了详细的分析,不同的角度进行推导最后得到的也都是同一个结果,推导过程需要些数学基础,但总体是非常好理解的。 一、PCA算法PCA算法的基本步骤如下: 为啥得到一个矩阵
W
W
W后就可以进行降维了呢?这其实是一个比较简单的问题,想想假设我们得到的
W
W
W是一个
m
×
d
m \times d
m×d的矩阵,其中
m
m
m是原样本空间的维度,
d
d
d是新样本空间的维度,这样我们对于原来的一个样本
x
x
x(一个
m
m
m维向量),我们作线性变换
y
=
W
T
x
y=W^Tx
y=WTx,得到的就是一个
d
d
d维的向量,这个
y
y
y就是降维后的结果。 实际上直观地想,主成分分析PCA就是一种线性降维方法,将高维空间的样本进行线性变换,使其降维到一个低维空间中。 有了上面对PCA的基本了解,知道了它的基本思想后,我们就可以从不同的角度来看待这个问题了。 可重构直观来说就是:样本到这个超平面的距离都足够近;我们首先从上一部分内容中推导。 由于我们原来就有一个
x
i
x_i
xi,那么我们很自然希望这个原来的样本和重构得到的样本的误差和最小,即
∑
i
=
1
n
∣
∣
x
i
−
x
i
^
∣
∣
2
2
\sum_{i=1}^{n}||x_i-\hat{x_i}||_2^2
∑i=1n∣∣xi−xi^∣∣22这就是我们希望优化的目标函数,即重构误差,我们代入一下上面的公式计算一下这个误差。 实际上没有自己推导这个步骤,也不会影响理解。 这样,我们希望最小化这个损失,那么主成分分析的最优化模型为: 这个角度其实是我们说的最多的角度,也是很多文章默认的推导角度。 可区分角度直观的思路如下: 这个角度相较于上面两个角度推导稍微复杂一些,也没那么常看到。这其中的推导还得自己手动拿笔算算才能够对应的上。 这里的核心思想是通过旋转坐标系从而最小化误差,直接看这句话是很难理解的,我们上公式: 这一步理解很关键。注意到我们新投影后仍然是m维空间,我们将其非常我们需要降维得到的d维和其他维。注意为啥要区分成 z i j z_{ij} zij和 b j b_j bj两种不同的值,这是由我们降维到d维空间这个目标决定的。 接下来最小化误差就和重构角度类似,但求解不太一样 求解还是利用拉格朗日乘子,这里不再赘述。 六、总结这里的内容主要参考的是周志华老师的西瓜书《机器学习》,对其中的内容和推导有一定的细化和扩展。对我自己来说,这些推导对帮助我完整理解PCA有很大帮助,理解了之后,也就不用再去背PCA的算法步骤,而是能通过一个角度完整把算法步骤进行还原。文章很长,有很多数学推导,希望对大家有参考价值。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |