前言
前文我们讲解了投影矩阵和最小二乘法,本节我们深化正交基和正交矩阵的概念和性质,讨论QR分解以及将一组向量转化为标准正交向量组的方法:Gram-Schmidt正交化。
矩阵分解
QR分解
分解形式
( 代表标准正交矩阵, 代表非奇异上三角矩阵)
目的
(1)求解A的特征值;(2)求解A的逆;(3)求解线性最小二乘问题。
标准正交矩阵
标准正交向量(Orthonormal Vector)
我们用 表示单位向量,那么有 ,若所有的向量 满足
![q_i^Tq_j = \begin{cases} 0 \quad i\not=j \\1 \quad i=j \end{cases}](https://math.jianshu.com/math?formula=q_i%5ETq_j%20%3D%20%5Cbegin%7Bcases%7D%200%20%5Cquad%20i%5Cnot%3Dj%20%5C%5C1%20%5Cquad%20i%3Dj%20%5Cend%7Bcases%7D)
此时,我们称 为标准正交向量(Orthonormal Vector)。当 时, 表示向量长度为单位长度。当 时, 表示不同的向量之间是正交的。
标准正交矩阵(Orthonormal Matrix)
将标准正交向量 放入矩阵 中,得到 ,我们称这样的矩阵 为标准正交矩阵(Orthonormal Matrices)。标准正交矩阵满足以下性质:
![Q^TQ = \left[\begin{matrix}q_1^T \\ q_2^T \\ ...\\ q_n^T\end{matrix}\right]\left[\begin{matrix}q_1& q_2& ...& q_n\end{matrix}\right] = \left[\begin{matrix}1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & \cdots \\ \vdots & \vdots &\ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{matrix}\right] = I](https://math.jianshu.com/math?formula=Q%5ETQ%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7Dq_1%5ET%20%5C%5C%20q_2%5ET%20%5C%5C%20...%5C%5C%20q_n%5ET%5Cend%7Bmatrix%7D%5Cright%5D%5Cleft%5B%5Cbegin%7Bmatrix%7Dq_1%26%20q_2%26%20...%26%20q_n%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D1%20%26%200%20%26%20%5Ccdots%20%26%200%20%5C%5C%200%20%26%201%20%26%20%5Ccdots%20%26%20%5Ccdots%20%5C%5C%20%5Cvdots%20%26%20%5Cvdots%20%26%5Cddots%20%26%20%5Cvdots%20%5C%5C%200%20%26%200%20%26%20%5Ccdots%20%26%201%20%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%20I)
当矩阵 恰好为方阵时,由于其正交性,可知矩阵 是可逆的,而 ,所以 ,那么此时我们称 为正交矩阵(Orthogonal Matrix)。
示例
![(1) \quad Q = \left[\begin{matrix} 0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1\end{matrix}\right]](https://math.jianshu.com/math?formula=(1)%20%5Cquad%20Q%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%200%20%26%201%20%26%200%20%5C%5C%201%20%26%200%20%26%200%20%5C%5C%200%20%26%200%20%26%201%5Cend%7Bmatrix%7D%5Cright%5D)
此时 ,易得![Q^TQ = I](https://math.jianshu.com/math?formula=Q%5ETQ%20%3D%20I)
![(2) \quad Q = \left[\begin{matrix} cos\theta & -sin\theta \\ sin\theta & cos\theta \end{matrix}\right]](https://math.jianshu.com/math?formula=(2)%20%5Cquad%20Q%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%20cos%5Ctheta%20%26%20-sin%5Ctheta%20%5C%5C%20sin%5Ctheta%20%26%20cos%5Ctheta%20%5Cend%7Bmatrix%7D%5Cright%5D)
此时列向量长度为 ,列向量相互正交
![(3) \quad Q = \frac{1}{\sqrt{2}}\left[\begin{matrix} 1 & -1 \\ 1 & -1 \end{matrix}\right]](https://math.jianshu.com/math?formula=(3)%20%5Cquad%20Q%20%3D%20%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%26%20-1%20%5C%5C%201%20%26%20-1%20%5Cend%7Bmatrix%7D%5Cright%5D)
此时列向量长度为 ,列向量相互正交
![(4) \quad Q = \frac{1}{2}\left[\begin{matrix} 1 & 1 & 1 & 1 \\ 1 & -1 & 1 & -1 \\ 1& 1 & -1 & -1 \\ 1 & -1 & -1 & 1\end{matrix}\right]](https://math.jianshu.com/math?formula=(4)%20%5Cquad%20Q%20%3D%20%5Cfrac%7B1%7D%7B2%7D%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%26%201%20%26%201%20%26%201%20%5C%5C%201%20%26%20-1%20%26%201%20%26%20-1%20%5C%5C%201%26%201%20%26%20-1%20%26%20-1%20%5C%5C%201%20%26%20-1%20%26%20-1%20%26%201%5Cend%7Bmatrix%7D%5Cright%5D)
![(5) \quad Q = \frac{1}{3}\left[\begin{matrix} 1 & -2 & 2 \\ 2 & -1 & -2 \\ 2 & 2 & 1\end{matrix}\right]](https://math.jianshu.com/math?formula=(5)%20%5Cquad%20Q%20%3D%20%5Cfrac%7B1%7D%7B3%7D%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%26%20-2%20%26%202%20%5C%5C%202%20%26%20-1%20%26%20-2%20%5C%5C%202%20%26%202%20%26%201%5Cend%7Bmatrix%7D%5Cright%5D)
用途
上一篇文章我们知道投影矩阵 ,当矩阵 为标准正交矩阵 时,有
![P = Q(Q^TQ)^{-1}Q^T = QQ^T](https://math.jianshu.com/math?formula=P%20%3D%20Q(Q%5ETQ)%5E%7B-1%7DQ%5ET%20%3D%20QQ%5ET)
当 是方阵时, ,那么其投影矩阵 。
验证:
![P^T = P: \quad (Q^TQ)^T = (Q^T)^TQ^T = QQ^T](https://math.jianshu.com/math?formula=P%5ET%20%3D%20P%3A%20%5Cquad%20(Q%5ETQ)%5ET%20%3D%20(Q%5ET)%5ETQ%5ET%20%3D%20QQ%5ET)
![P^2 = P: \quad (QQ^T)^2 = QQ^TQQ^T = Q(Q^TQ)Q^T = QQ^T](https://math.jianshu.com/math?formula=P%5E2%20%3D%20P%3A%20%5Cquad%20(QQ%5ET)%5E2%20%3D%20QQ%5ETQQ%5ET%20%3D%20Q(Q%5ETQ)Q%5ET%20%3D%20QQ%5ET)
将Q带入到最小二乘法公式( )中,得到:
![Q^TQ\hat{x} = Q^Tb = \hat{x} = Q^Tb](https://math.jianshu.com/math?formula=Q%5ETQ%5Chat%7Bx%7D%20%3D%20Q%5ETb%20%3D%3E%20%5Chat%7Bx%7D%20%3D%20Q%5ETb)
分解开即为
![\hat{x_i} = q_i^Tb](https://math.jianshu.com/math?formula=%5Chat%7Bx_i%7D%20%3D%20q_i%5ETb)
Gram-Schmidt正交化
两个向量的单位正交化
已知两个线性无关的向量 无法满足标准的正交(如图1所示),现在我们想通过Gram-Schmidt方法进行单位化和正交化,将其转化为标准的单位正交基 。
图1:无法满足标准正交的两个向量a,b
设正交向量为 ,接着我们以向量 为其中的正交向量 ,则需求出正交向量 。
若要求出正交向量 ,其实就是将 投影到 上,再求 到 的距离,也就是误差向量 ,也就是用向量 去减 在向量 上的分量,如图2所示
图2:向量b与向量a的误差向量e
根据上一节关于向量投影的知识可知:
![B=e=b-p=b-\frac{A^Tb}{A^TA}A](https://math.jianshu.com/math?formula=B%3De%3Db-p%3Db-%5Cfrac%7BA%5ETb%7D%7BA%5ETA%7DA)
检验 :
![A^TB = A^Tb- A^T\frac{A^Tb}{A^TA}A = A^Tb-\frac{A^Tb}{A^TA}Ab=0](https://math.jianshu.com/math?formula=A%5ETB%20%3D%20A%5ETb-%20A%5ET%5Cfrac%7BA%5ETb%7D%7BA%5ETA%7DA%20%3D%20A%5ETb-%5Cfrac%7BA%5ETb%7D%7BA%5ETA%7DAb%3D0)
得到两个正交向量 :
![q_1 = \frac{A}{||A||}, \quad q_2 = \frac{B}{||B||}](https://math.jianshu.com/math?formula=q_1%20%3D%20%5Cfrac%7BA%7D%7B%7C%7CA%7C%7C%7D%2C%20%5Cquad%20q_2%20%3D%20%5Cfrac%7BB%7D%7B%7C%7CB%7C%7C%7D)
三个向量的单位正交化
如果有三个向量要做单位正交化,那第三个向量需要垂直于前两个向量,我们设三个向量分别为 ,三个相互正交的向量为 ,三个相互正交的单位向量为 ,并令 ,那么根据上一小节的内容,可以推出:
![B=b-\frac{A^Tb}{A^TA}A \\ C=c-p=c-p_a-p_b = c-\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B^TB}B](https://math.jianshu.com/math?formula=B%3Db-%5Cfrac%7BA%5ETb%7D%7BA%5ETA%7DA%20%5C%5C%20C%3Dc-p%3Dc-p_a-p_b%20%3D%20c-%5Cfrac%7BA%5ETc%7D%7BA%5ETA%7DA-%5Cfrac%7BB%5ETc%7D%7BB%5ETB%7DB)
示例
设有线性无关的非正交向量 ,其中 ,求两向量的标准正交矩阵 。
正交化:我们设两正交向量为 ,其中
![A = a = \left[\begin{matrix} 1 \\ 1 \\ 1 \end{matrix}\right]\\ B=b-p_a = b-\frac{A^Tb}{A^TA}A = \left[\begin{matrix} 1 \\ 0 \\ 2 \end{matrix}\right] - \frac{\left[\begin{matrix} 1 & 1 & 1 \end{matrix}\right]\left[\begin{matrix} 1 \\ 1 \\ 2 \end{matrix}\right]}{\left[\begin{matrix} 1 & 1 & 1 \end{matrix}\right]\left[\begin{matrix} 1 \\ 1 \\ 1 \end{matrix}\right]}\left[\begin{matrix} 1 \\ 1 \\ 1 \end{matrix}\right]= \left[\begin{matrix} 1 \\ 0 \\ 2 \end{matrix}\right] -\left[\begin{matrix} 1 \\ 1 \\ 1 \end{matrix}\right] = \left[\begin{matrix} 0 \\ -1 \\ 1 \end{matrix}\right]](https://math.jianshu.com/math?formula=A%20%3D%20a%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%5C%5C%201%20%5C%5C%201%20%5Cend%7Bmatrix%7D%5Cright%5D%5C%5C%20B%3Db-p_a%20%3D%20b-%5Cfrac%7BA%5ETb%7D%7BA%5ETA%7DA%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%5C%5C%200%20%5C%5C%202%20%5Cend%7Bmatrix%7D%5Cright%5D%20-%20%5Cfrac%7B%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%26%201%20%26%201%20%5Cend%7Bmatrix%7D%5Cright%5D%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%5C%5C%201%20%5C%5C%202%20%5Cend%7Bmatrix%7D%5Cright%5D%7D%7B%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%26%201%20%26%201%20%5Cend%7Bmatrix%7D%5Cright%5D%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%5C%5C%201%20%5C%5C%201%20%5Cend%7Bmatrix%7D%5Cright%5D%7D%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%5C%5C%201%20%5C%5C%201%20%5Cend%7Bmatrix%7D%5Cright%5D%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%5C%5C%200%20%5C%5C%202%20%5Cend%7Bmatrix%7D%5Cright%5D%20-%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%5C%5C%201%20%5C%5C%201%20%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%200%20%5C%5C%20-1%20%5C%5C%201%20%5Cend%7Bmatrix%7D%5Cright%5D)
单位化:设两单位正交向量为 ,则
![q_1 = \frac{1}{\sqrt3}\left[\begin{matrix} 1 \\ 1 \\ 1 \end{matrix}\right] \\ q_2 = \frac{1}{\sqrt2}\left[\begin{matrix} 0 \\ -1 \\ 1 \end{matrix}\right]](https://math.jianshu.com/math?formula=q_1%20%3D%20%5Cfrac%7B1%7D%7B%5Csqrt3%7D%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%5C%5C%201%20%5C%5C%201%20%5Cend%7Bmatrix%7D%5Cright%5D%20%5C%5C%20q_2%20%3D%20%5Cfrac%7B1%7D%7B%5Csqrt2%7D%5Cleft%5B%5Cbegin%7Bmatrix%7D%200%20%5C%5C%20-1%20%5C%5C%201%20%5Cend%7Bmatrix%7D%5Cright%5D)
得到矩阵 :
![Q = \left[\begin{matrix} \frac{1}{\sqrt3} & 0 \\ \frac{1}{\sqrt3} & -\frac{1}{\sqrt2} \\ \frac{1}{\sqrt3} & \frac{1}{\sqrt2} \end{matrix}\right]](https://math.jianshu.com/math?formula=Q%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%20%5Cfrac%7B1%7D%7B%5Csqrt3%7D%20%26%200%20%5C%5C%20%5Cfrac%7B1%7D%7B%5Csqrt3%7D%20%26%20-%5Cfrac%7B1%7D%7B%5Csqrt2%7D%20%5C%5C%20%5Cfrac%7B1%7D%7B%5Csqrt3%7D%20%26%20%5Cfrac%7B1%7D%7B%5Csqrt2%7D%20%5Cend%7Bmatrix%7D%5Cright%5D)
QR分解
我们继续上文所述的示例,我们设原来的矩阵为 ,然后来对比一下矩阵 和 :
![A= \left[\begin{matrix} 1 & 1 \\ 1 & 0 \\ 1 & 2 \end{matrix}\right] \quad Q = \left[\begin{matrix} \frac{1}{\sqrt3} & 0 \\ \frac{1}{\sqrt3} & -\frac{1}{\sqrt2} \\ \frac{1}{\sqrt3} & \frac{1}{\sqrt2} \end{matrix}\right]](https://math.jianshu.com/math?formula=A%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%201%20%26%201%20%5C%5C%201%20%26%200%20%5C%5C%201%20%26%202%20%5Cend%7Bmatrix%7D%5Cright%5D%20%5Cquad%20Q%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%20%5Cfrac%7B1%7D%7B%5Csqrt3%7D%20%26%200%20%5C%5C%20%5Cfrac%7B1%7D%7B%5Csqrt3%7D%20%26%20-%5Cfrac%7B1%7D%7B%5Csqrt2%7D%20%5C%5C%20%5Cfrac%7B1%7D%7B%5Csqrt3%7D%20%26%20%5Cfrac%7B1%7D%7B%5Csqrt2%7D%20%5Cend%7Bmatrix%7D%5Cright%5D)
会发现, 和 的列空间是相同的,当然这是因为我们只是将原来的基标准正交化了。那么和LU分解表达了高斯消元法类似,上述示例中使用Gram-Schmidt正交化方法的过程也可以用矩阵的形式来表达,即 ,其中 为标准正交矩阵, 为非奇异上三角矩阵。具体地,设矩阵 有列 ,即 ,那么我们可以直接写出矩阵 和矩阵 ,即
![A = \left[\begin{matrix} a & b \end{matrix}\right] = QR = \left[\begin{matrix} q_1 & q_2 \end{matrix}\right]\left[\begin{matrix} a^T q_1 & b^T q_1 \\a^Tq_2 & b^T q_2\end{matrix}\right]](https://math.jianshu.com/math?formula=A%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%20a%20%26%20b%20%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%20QR%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%20q_1%20%26%20q_2%20%5Cend%7Bmatrix%7D%5Cright%5D%5Cleft%5B%5Cbegin%7Bmatrix%7D%20a%5ET%20q_1%20%26%20b%5ET%20q_1%20%5C%5Ca%5ETq_2%20%26%20b%5ET%20q_2%5Cend%7Bmatrix%7D%5Cright%5D)
由于我们令 为两正交向量中的一个,因此 ,所以 ,因此矩阵 是一个上三角矩阵,就有
![A = \left[\begin{matrix} a & b \end{matrix}\right] = QR = \left[\begin{matrix} q_1 & q_2 \end{matrix}\right]\left[\begin{matrix} a^T q_1 & b^T q_1 \\0 & b^T q_2\end{matrix}\right]](https://math.jianshu.com/math?formula=A%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%20a%20%26%20b%20%5Cend%7Bmatrix%7D%5Cright%5D%20%3D%20QR%20%3D%20%5Cleft%5B%5Cbegin%7Bmatrix%7D%20q_1%20%26%20q_2%20%5Cend%7Bmatrix%7D%5Cright%5D%5Cleft%5B%5Cbegin%7Bmatrix%7D%20a%5ET%20q_1%20%26%20b%5ET%20q_1%20%5C%5C0%20%26%20b%5ET%20q_2%5Cend%7Bmatrix%7D%5Cright%5D)
|