不相容方程组的最小二乘解 |
您所在的位置:网站首页 › 相容方程组 › 不相容方程组的最小二乘解 |
不相容方程组的最小二乘解
不相容方程组的最小二乘解
Ax=bAx=bAx=b的最小二乘解最小二乘解定理
如果给定的线性方程组 Ax=b A x = b 无解,那么我们希望退而求其次——求一个近似的 x⋆ x ⋆ ,使得残差向量(Residual Vector) r=Ax⋆(拟合值)−b(观测值) r = A x ⋆ ( 拟 合 值 ) − b ( 观 测 值 ) 尽可能的小。在实际应用方面,任何最小化残差向量的方法,都可以用于寻找数据的最小二拟合。 残差向量:数理统计中观测值与估计值(拟合值)之间的差。 不相容方程组的一个常见来源是超定方程组(方程个数多于未知数的方程组)。例如: x1+4x2x1+2x22x1+3x2=−2=−2=−2 x 1 + 4 x 2 = − 2 x 1 + 2 x 2 = − 2 2 x 1 + 3 x 2 = − 2 超定方程组常常是不相容的,上面这个例子也不例外。可以看到上述方程组可以写作 Ax=b A x = b 的形式。其中 A=112423,b=−2−2−2 A = 1 4 1 2 2 3 , b = − 2 − 2 − 2 A的解空间是 R3 R 3 的一个二维子空间,向量 b b 在该子空间之外,这导致该方程组无解。那么一个合理的目标就是寻找一个向量xx,使得他们最接近于满足全部三个方程。最小二乘解可以达到这个目的。 Ax=b A x = b 的最小二乘解考虑线性方程组 Ax=b A x = b ,其中 A A 是m∗nm∗n的矩阵,如果 x x 是RnRn中的向量,那么向量 r=Ax−b r = A x − b 成为残差向量(Residual Vector)。使得残差向量最小的 Rn R n 空间中的 n n 维向量x⋆x⋆称为方程 Ax=b A x = b 的最小二乘解。更准确的说,使得满足以下不等式的向量 x⋆ x ⋆ ,是方程 Ax=b A x = b 的最小二乘解。 ||Ax⋆−b||≤||Ax−b||,对于任意x∈Rn | | A x ⋆ − b | | ≤ | | A x − b | | , 对 于 任 意 x ∈ R n 如果方程 Ax=b A x = b 是相容的,那么最小二乘解恰好也是方程的一般意义上的解,此时 ||Ax⋆−b||=||Ax−b||=0 | | A x ⋆ − b | | = | | A x − b | | = 0设 y∗=Ax∗ y ∗ = A x ∗ ,其中 x∗ x ∗ 为方程 Ax=b A x = b 的最小二乘解。则 y∗∈R(A) y ∗ ∈ R ( A ) ,由于 y∗ y ∗ 满足下式: ||y⋆−b||≤||y−b||,对于任意y∈R(A) | | y ⋆ − b | | ≤ | | y − b | | , 对 于 任 意 y ∈ R ( A ) 则可推导得出结论(依据定理下节给出): y⋆−b y ⋆ − b 垂直于R(A)中任意向量。由于 A A 的列为R(A)R(A)的一个生成系,有: AT1(y⋆−b)=0AT2(y⋆−b)=0...ATm(y⋆−b)=0 A 1 T ( y ⋆ − b ) = 0 A 2 T ( y ⋆ − b ) = 0 . . . A m T ( y ⋆ − b ) = 0 写成矩阵形式: AT(y∗−b)=0 A T ( y ∗ − b ) = 0 将 y∗=Ax∗ y ∗ = A x ∗ 带入: ATAx∗=ATb A T A x ∗ = A T b 则可以通过求解以上方程来得到方程 Ax=b A x = b 的最小二乘解。 最小二乘解定理考虑(m*n)的方程组 Ax=b A x = b ,有: (a) 关联方程组 ATAx=ATb A T A x = A T b ,总是相容的; (b) Ax=b A x = b 的最小二乘解恰好是 ATAx=ATb A T A x = A T b 的解; (c) 最小二乘解是唯一的,当且仅当矩阵A的秩为 n n n; |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |