我们知道，线性变换的零化多项式是存在的，并且其特征多项式就是一个 n {\displaystyle n} 次零化多项式，从单位矩阵的零化多项式可以是 f ( x ) = x − 1 {\displaystyle f(x)=x-1} 这个一次式中受到启发，是否存在次数更小的多项式是一个矩阵的零化多项式。故我们来定义最小多项式的概念。

对于一个矩阵 A {\displaystyle A} ，我们称它首项系数为 1 {\displaystyle 1} 的次数最低的零化多项式是 A {\displaystyle A} 的最小多项式（minimal polynomial），记作 m A ( x ) {\displaystyle m_{A}(x)} ，显然有 m A ( A ) = O {\displaystyle m_{A}(A)=O} 。

这样的多项式一定是存在且唯一的，存在性是自然的，如果它不是唯一的，设有两个次数相同的首一多项式，它们都是零化多项式，则它们的差必然也是零化多项式，然而这个差的多项式次数一定小于原来两个最小多项式的次数，这样就与最小多项式次数最低相矛盾。

多项式 f ( x ) ∈ P [ x ] {\displaystyle f(x)\in \mathbb {P} [x]} 是 A {\displaystyle A} 的零化多项式当且仅当 m A ( x ) | f ( x ) {\displaystyle m_{A}(x)|f(x)} 。因此 m A ( x ) | Δ A ( x ) {\displaystyle m_{A}(x)|\Delta _{A}(x)}

由这个定理我们可以在求最小多项式时将范围缩小至特征多项式的因子上去。同时我们还可以知道一般来说，最小多项式的次数可能低于特征多项式的次数，但绝不会超过特征多项式次数。

如果存在可逆矩阵 P ∈ P n × n {\displaystyle P\in \mathbb {P} ^{n\times n}} ，使得 A = P − 1 B P {\displaystyle A=P^{-1}BP} ，那么 m A ( x ) = m B ( x ) {\displaystyle m_{A}(x)=m_{B}(x)} 。

但是最小多项式相同的矩阵不一定相似，这一点和特征多项式是一样的，特征多项式相同的矩阵也不一定相似。

因为最小多项式是特征多项式的因式，我们不禁会问最小多项式中到底有哪些因式。通过证明，一个矩阵的所有特征根是且仅是最小多项式的根，这也就是说，最小多项式保留了特征值多项式中的所有不同的一次因式，仅有因式的重数可能比特征多项式低。这进一步限制了我们找最小多项式的范围：最小多项式中必须出现特征多项式的一次因式。

此外，设 A ∈ P n × n {\displaystyle A\in \mathbb {P} ^{n\times n}} ，则 Δ A ( x ) | m A n ( x ) {\displaystyle \Delta _{A}(x)|m_{A}^{n}(x)} 。

设 A ∈ P n × n {\displaystyle A\in \mathbb {P} ^{n\times n}} ，则它的最小多项式就是 A {\displaystyle A} 的特征矩阵的第 n {\displaystyle n} 个不变因子 d n ( λ ) {\displaystyle d_{n}(\lambda )} ，这是求解一个矩阵的最小多项式的有效通法。