物理意义：

如下一个二维向量，这个二维空间的基向量是;

将向量左乘一个矩阵A，情况变成如下：

奇妙的来了，如果调整一下被乘的向量的方向到一个特定方向，则会出现如下情况

可以观察到，调整后的和在同一根直线上，只是的长度相对的长度变长了。此时，我们就称是A的特征向量，而的长度是的长度的λ倍，λ就是特征值。

从而，特征值与特征向量的定义式就是这样的：

特征向量所在的直线上的所有向量都满足特征向量的上述定义，我们称其为特征空间。不过一般每个特征向量通常定义为一个单位向量（因为主要的意义是用来表示方向的）。

当然，一个矩阵通常不止一个特征向量，比如一个n*n的矩阵最多有n个特征向量，每个特征向量之间相互正交，也有可能没有特征向量（求得时候发现方程无解或是复数）

上面说了，特征向量表示矩阵变换的方向，特征值表示该方向上的变换速度。整个变换怎么理解呢？

我们可以这样想，每个矩阵在对一个向量做变换的时候，

这个分解操作可以由下面的特征值分解进行解释

一个矩阵进行特征值分解，这是一种将矩阵分解表示的操作。可以通过只保留比较重要的特征向量（将其他置为零）来压缩矩阵。

其中，

使用一个具体例子进行解释如下：

如果使用这个矩阵对向量进行变换操作，我们会发现

特征值分解其实就是将矩阵的变换操作分解了，将旋转与拉伸分离开来，最后达到上述意义的效果。我们逐步解释

通过了解了整个特征值分解的意义，我们应该便能理解为什么说只对方阵进行特征值分解了。

这是因为只有方阵才能够在矩阵空间提取出符合完全正交基的特征向量，这样对于任何一个目标向量进行变换时，才能使用特征向量对目标向量进行完全表示。如果不能提取出满足条件的特征向量，则特征值分解的公式是不成立的!

那不能特征值分解时怎么办呢？我们可以使用奇异值分解

如下有一幅512*512的灰度图像(只有方阵才能压缩)

这个图片可以放到一个矩阵里面去，就是把每个像素的颜色值填入到一个512×512的A矩阵中。 根据之前描述的有：

其中，D是对角阵，对角线上是从大到小排列的特征值。

我们在D中只保留前面50个的特征值（也就是最大的50个，其实也只占了所有特征值的百分之十），其它的都填0，重新计算矩阵后，恢复为下面这样的图像：

效果还可以，其实一两百个特征值之和可能就占了所有特征值和的百分之九十了，其他的特征值都可以丢弃了。

不过注意:在通过特征值分解的方式压缩过后，这个图像就不再是以前的图像了。