线性方程组的直接解法参考： 线性方程组的直接解法

由于计算机舍入误差，在求解方程组 A x = b Ax=b Ax=b时总会有误差，实际上是在求解 ( A + δ A ) ( x + δ x ) = b + δ b (A+\delta A)(x+\delta x)=b+\delta b (A+δA)(x+δx)=b+δb 有时方程组的解对于系数矩阵和右端向量的扰动非常敏感，此时称为病态方程组

一个线性映射 A ： X → Y A：X\rightarrow Y A：X→Y称为有界的，是指存在常数 C > 0 , s . t . ∀ x ∈ X , ∣ ∣ A x ∣ ∣ Y ≤ C ∣ ∣ x ∣ ∣ X C>0,s.t. \forall x\in X,||Ax||_Y\le C||x||_X C>0,s.t.∀x∈X,∣∣Ax∣∣Y​≤C∣∣x∣∣X​,对于有界线性算子 A A A可以定义： ∣ ∣ A ∣ ∣ : = s u p ∣ ∣ x ∣ ∣ X = 1 ∣ ∣ A x ∣ ∣ Y < + ∞ ||A||:=sup_{||x||_X=1}||Ax||_Yr+1 则 b = ∑ j = 1 r ( b , v j ) v j b=\sum_{j=1}^{r}(b,v_j)v_j b=∑j=1r​(b,vj​)vj​ 同理， x = ∑ j = 1 n ( x , u j ) u j x=\sum_{j=1}^n(x,u_j)u_j x=∑j=1n​(x,uj​)uj​ 则 A x = ∑ j = 1 n ( x , u j ) A u j = ∑ j = 1 r μ j ( x , u j ) v j = ∑ j = 1 r ( b , v j ) v j Ax=\sum_{j=1}^n(x,u_j)Au_j=\sum_{j=1}^r\mu_j(x,u_j)v_j=\sum_{j=1}^{r}(b,v_j)v_j Ax=∑j=1n​(x,uj​)Auj​=∑j=1r​μj​(x,uj​)vj​=∑j=1r​(b,vj​)vj​ 则 x = ∑ j = 1 r 1 μ j ( b , v j ) u j x=\sum_{j=1}^r\frac{1}{\mu_j}(b,v_j)u_j x=∑j=1r​μj​1​(b,vj​)uj​ 由此可知，当 μ j ≪ 1 \mu_j\ll1 μj​≪1时，存在较大的舍入误差 病态条件： c o n d ( A ) 2 = μ 1 μ n ≥ 1 cond(A)_2=\frac{\mu_1}{\mu_n}\ge1 cond(A)2​=μn​μ1​​≥1，由 μ 1 ∼ O ( 1 ) \mu_1\sim O(1) μ1​∼O(1)，则 μ n ≪ 1 \mu_n\ll1 μn​≪1。 因此，较大的矩阵条件数可以推出存在远小于1的奇异值，而在求解方程解时由于出现1除以一个远小于1的数这一运算操作，导致了该线性方程组的求解存在较大的舍入误差的现象

采用近似解： x = ∑ j = 1 r μ j α + μ j 2 ( b , v j ) u j x=\sum_{j=1}^r\frac{\mu_j}{\alpha+\mu_j^2}(b,v_j)u_j x=∑j=1r​α+μj2​μj​​(b,vj​)uj​ 使用吉洪诺夫正则化方法存在两种误差：舍入误差和 α \alpha α的近似误差，在实际操作中是一个trade-off的的问题，一般取 α ∼ δ 2 3 \alpha\sim\delta^{\frac{2}{3}} α∼δ32​，其中 δ \delta δ表示机器的舍入误差。

除了吉洪诺夫正则化方法，还有其他的方法，包括在这个式子中 x = ∑ j = 1 r 1 μ j ( b , v j ) u j x=\sum_{j=1}^r\frac{1}{\mu_j}(b,v_j)u_j x=∑j=1r​μj​1​(b,vj​)uj​直接舍弃小于一定阈值的奇异值对应的项等。