先解释一下什么是不相容方程组。当线性矩阵与其增广矩阵不等秩时，且系数矩阵的秩小于曾广矩阵的秩时，系数矩阵不相容。比如线性方程组 A x = b Ax=b Ax=b， A A A是系数矩阵， [ A ∣ b ] [A|b] [A∣b]是增广矩阵，当 A A A的秩小于 [ A ∣ b ] [A|b] [A∣b]的秩不时， A A A就称为不相容系数矩阵， A x = b Ax=b Ax=b就称为不相容方程组。明显可以可以看出：不相容方程组没有非零解。 再来解释一下超定方程组。超定方程组是指有效方程的个数大于未知量个数的方程组。对于方程组 B x = c Bx=c Bx=c， B B B为 n × m n×m n×m矩阵，如果 B B B列满秩，且 R [ B ∣ c ] ; n R[B|c];n R[B∣c]>n，。则方程组没有精确解，此时称方程组为超定方程组。明显可以得出超定方程组没有非零解。 同时，可以明显得出， R ( B ) = m ; R [ B ∣ c ] R(B)=m ; R[B|c] R(B)=mm，增广矩阵 [ A ∣ b ] [A|b] [A∣b]的秩大于 m m m。 超定方程组是无解的，但是我们可以求得其最小二乘解，将等式左右两端乘上 A A A的转置。 A T A x ∗ = A T b A^TAx^*=A^Tb ATAx∗=ATb 可以通过上述方程组得到 A x = b Ax=b Ax=b的最小二乘解。 A T A x ∗ = A T b A^TAx^*=A^Tb ATAx∗=ATb 是 A x = b Ax=b Ax=b的关联方程组。

对于方程组 A x = b Ax=b Ax=b，其中 A ∈ m ∗ n A\in m*n A∈m∗n，有：

定义方程组 A x = b Ax=b Ax=b， A A A为矩阵， x x x为变量， b b b为向量。 先写两个线性代数定理：

最小二乘的优化目标： min ⁡ x ∈ R ( ∣ ∣ A x − b ∣ ∣ 2 ) 2 \min_{x\in R} (||Ax-b||_2)^2 x∈Rmin​(∣∣Ax−b∣∣2​)2 这是多变量的优化问题，所以要对变量进行求导。 先进行展开 ( ∣ ∣ A x − b ∣ ∣ 2 ) 2 = ( A x − b ) T ( A x − b ) = x T A T A x − b T A x − x T A T b + b T b \begin{aligned} (||Ax-b||_2)^2 ;= (Ax-b)^T(Ax-b) \\ ;=x^TA^TAx-b^TAx-x^TA^Tb+b^Tb \end{aligned} (∣∣Ax−b∣∣2​)2​=(Ax−b)T(Ax−b)=xTATAx−bTAx−xTATb+bTb​ 由此得到： ∂ ( ∣ ∣ A x − b ∣ ∣ 2 ) 2 ∂ x = 2 A T A x − 2 A T b \frac{\partial(||Ax-b||_2)^2}{\partial x}=2A^TAx-2A^Tb ∂x∂(∣∣Ax−b∣∣2​)2​=2ATAx−2ATb 让上式等于零可得 x = ( A T A ) − 1 A T b x=(A^TA)^{-1}A^Tb x=(ATA)−1ATb