判别分析包括可用于分类和降维的方法。线性判别分析（LDA）特别受欢迎，因为它既是分类器又是降维技术。二次判别分析（QDA）是LDA的变体，允许数据的非线性分离。最后，正则化判别分析（RDA）是LDA和QDA之间的折衷。

本文主要关注LDA，并探讨其在理论和实践中作为分类和可视化技术的用途。由于QDA和RDA是相关技术，我不久将描述它们的主要属性以及如何在R中使用它们。

LDA是一种分类和降维技术，可以从两个角度进行解释。第一个是解释是概率性的，第二个是更多的程序解释，归功于费舍尔。第一种解释对于理解LDA的假设是有用的。第二种解释可以更好地理解LDA如何降低维数。

Fisher的LDA优化标准规定组的质心应尽可能分散。这相当于找到一个线性组合ž= aŤXZ=aTX，使得aTaT相对于类内方差的类间方差最大化。

如前所述，类内方差是WW被汇集的协方差矩阵Σ^Σ^，这表明从它们的类质心的所有观察的偏差。如前所述，根据质心与总体平均值的偏差来定义类间方差。对于ZZ，类方差之间是aTBaaTBa与类内方差是一个Ťw ^一个ATWa。因此，可以通过瑞利商来优化LDA

它定义了XX到新空间ZZ的最佳映射。需要注意的是Z∈R1×pZ∈R1×p，即，观测被映射到单个维度。为了获得额外的维度，我们需要解决的最优化问题的a1,…,aK−1a1,…,aK−1，其中每个连续akak构造是在正交WW以前的判别坐标。这导致线性变换G=(ZT1,ZT2,…,ZTK−1)∈Rp×qG=(Z1T,Z2T,…,ZK−1T)∈Rp×q，使我们可以从映射pp到qq经由尺寸XGXG。为什么我们考虑K−1K−1预测？这是因为由KK质心跨越的仿射子空间具有至多K−1K−1的等级。

LDA在缩小的子空间中执行分类。在执行分类时，我们不需要使用所有K−1K−1维度，而是可以选择较小的子空间HlHl其中l