目录

PCA算法

PCA目标

PCA原理推导

基于最大可分性推导

基于最近重构误差推导

PCA算法流程

PCA优点

PCA缺点

基于PCA的人脸识别 

PCA，即主成分分析（Principal Component Analysis），是一种常用的降维技术，用于从高维数据中提取最重要的特征。

在机器学习中，我们通常面临的问题是，数据集包含大量特征，而这些特征之间可能存在冗余或相关性。这导致了两个问题：一是难以可视化和理解数据，二是可能会影响模型的性能和效率。PCA的目标就是通过线性变换将高维数据映射到低维空间，同时保持数据的主要信息。

PCA的主要应用有：

总结一下，PCA是一种常用的降维技术，通过线性变换将高维数据映射到低维空间，保留了主要信息，同时去除了冗余和相关性。这使得数据更易于理解和分析，并可以提高机器学习模型的性能和效率。

最小重构误差：求重构误差最小的投影方向，即让样本点到投影超平面的距离都足够近。

最大可分性：求散度最大的投影方向，即让样本点到投影超平面的投影尽可能的分开。

基于最近重构误差和最大可分性有两种等价推导。

即等价于最大化方差：

数据预处理：

计算协方差矩阵：

特征值分解：

特征向量选择：

数据转换：

PCA的优点包括：

降低维度：PCA可以将高维数据映射到较低维度的空间，从而减少特征的数量。这有助于去除冗余信息，提高计算效率，并且可以更好地可视化和理解数据。

去相关性：PCA通过线性变换将原始特征转换为一组无关的主成分。这是通过选择具有最大方差的主成分实现的，从而减少特征之间的相关性。这使得数据更易于处理和分析，提高了模型的性能和可靠性。

数据解释性：PCA选择的主成分对应于数据中的最大方差，因此它们包含了最重要的信息。这使得我们能够通过分析主成分来理解数据的结构和模式，以及不同特征之间的关系。

数据压缩：PCA将高维数据映射到较低维度，从而实现了数据的压缩。这可以减少存储空间的需求，并且在处理大规模数据时提高计算效率。

PCA的缺点包括：

数据预处理：PCA对数据的预处理要求较高。标准化是必要的，因为PCA是基于特征之间的协方差矩阵进行计算的。如果数据不经过合适的预处理，可能会导致结果不准确或不可靠。

特征解释性：PCA虽然能够保留最重要的信息，但在降维的过程中也可能丢失一些较低方差的特征。这些特征可能对于特定任务的解释和理解是有意义的，但在降维过程中被忽略了。

非线性问题：PCA是一种线性降维方法，它假设数据是线性可分的。对于非线性问题，PCA可能无法捕捉到数据的复杂结构。针对非线性问题，可以使用核PCA或其他非线性降维方法。

主成分选择：确定要保留的主成分数量是一个挑战。选择较少的主成分可以实现较高的压缩率，但可能会丢失一些重要信息。而选择较多的主成分可能会保留过多的冗余信息。因此，在选择主成分的数量时需要权衡。

机器学习之基于PCA的人脸识别_一片叶子在深大的博客-CSDN博客