内积具有重要意义，那么如何计算变换后两个向量的内积呢？

向量 v , w \mathbf{v},\mathbf{w} v,w 经变换矩阵 A A A 变换为向量 A v , A w A\mathbf{v},A\mathbf{w} Av,Aw ，内积按矩阵乘法计算，就是向量 A v A\mathbf{v} Av 对应的行向量和向量 A w A\mathbf{w} Aw 的乘积。如何表示向量 A v A\mathbf{v} Av 对应的行向量呢？

行向量就是向量旋转，数值和向量 A v A\mathbf{v} Av 一样。向量 A v A\mathbf{v} Av 是向量组的线性组合，那行向量也是其线性组合，只是旋转了，所以行向量可以表示为：把矩阵 A A A 的列向量旋转为行向量，然后求线性组合。所以需要定义一种操作，把矩阵的列向量旋转为行向量，这就是矩阵转置。

定义 转置矩阵 把矩阵 A A A 的第 i i i 个列向量旋转为第 i i i 个行向量，得到一个新矩阵，叫做 A A A 的转置矩阵，记作 A T A^T AT 。

例如矩阵 A = [ 0 3 1 4 2 5 ] A T = [ 0 1 2 3 4 5 ] A = \left[ \begin{matrix} 0 & 3 \\ 1 & 4 \\ 2 & 5 \end{matrix} \right] \qquad A^T = \left[ \begin{matrix} 0 & 1 & 2 \\ 3 & 4 & 5 \end{matrix} \right] A=⎣⎡​012​345​⎦⎤​AT=[03​14​25​] 所以列向量 v \mathbf{v} v 转置就是行向量 v T \mathbf{v^T} vT ，行向量是列向量的转置。

重要性质 ( A v ) T = v T A T (A\mathbf{v})^T = \mathbf{v^T}A^T (Av)T=vTAT 。

变换向量的内积为 ( A v , A w ) = ( A v ) T ( A w ) = v T A T A w = v T ( A T A ) w (A\mathbf{v},A\mathbf{w}) = (A\mathbf{v})^T(A\mathbf{w}) = \mathbf{v^T}A^TA\mathbf{w}=\mathbf{v^T}(A^TA)\mathbf{w} (Av,Aw)=(Av)T(Aw)=vTATAw=vT(ATA)w

上式是四个矩阵相乘，结果是个数，大家一定要习惯矩阵表达式。

矩阵乘积 A T A A^TA ATA 很重要，我们来计算下 A = [ a 1 , a 2 , ⋯   , a n ] A T = [ a 1 T a 2 T ⋮ a n T ] A T A = [ a 1 T a 1 a 1 T a 2 ⋯   , a 1 T a n ⋮ a n T a 1 a n T a 2 ⋯   , a n T a n ] A = \left[ \mathbf{a_1},\mathbf{a_2},\cdots,\mathbf{a_n}\right] \quad A^T = \left[ \begin{matrix} \mathbf{a^T_{1}} \\ \mathbf{a^T_{2}} \\ \vdots \\ \mathbf{a^T_{n}} \end{matrix} \right] \\ A^TA= \left[ \begin{matrix} \mathbf{a^T_{1}}\mathbf{a_1} & \mathbf{a^T_{1}}\mathbf{a_2} \cdots, \mathbf{a^T_{1}}\mathbf{a_n}\\ \vdots \\ \mathbf{a^T_{n}}\mathbf{a_1} & \mathbf{a^T_{n}}\mathbf{a_2} \cdots, \mathbf{a^T_{n}}\mathbf{a_n} \end{matrix} \right] A=[a1​,a2​,⋯,an​]AT=⎣⎢⎢⎢⎡​a1T​a2T​⋮anT​​⎦⎥⎥⎥⎤​ATA=⎣⎢⎡​a1T​a1​⋮anT​a1​​a1T​a2​⋯,a1T​an​anT​a2​⋯,anT​an​​⎦⎥⎤​ 矩阵第 i i i 行第 j j j 列的数值是矩阵 A A A 的第 i i i 个列向量与矩阵 A A A 的第 j j j 个列向量的内积。对任意矩阵 A m n A_{mn} Amn​， A T A A^TA ATA 是 n n n 阶方阵。

另一个与矩阵 A A A 密切相关的矩阵是 A A T AA^T AAT ，我们来计算下 A A T = a 1 a 1 T + a 2 a 2 T + ⋯ + a n a n T AA^T = \mathbf{a_1}\mathbf{a^T_{1}}+\mathbf{a_2}\mathbf{a^T_{2}}+\cdots+\mathbf{a_n}\mathbf{a^T_{n}} AAT=a1​a1T​+a2​a2T​+⋯+an​anT​ 是 n n n 个简单矩阵之和，每个简单矩阵是矩阵 A A A 的列向量与列向量的外积。 A A T AA^T AAT 是 m m m 阶方阵。

矩阵转置也可以看作一种运算，满足如下性质 ( A T ) T = A ( A + B ) T = A T + B T ( λ A ) T = λ A T ( A B ) T = B T A T (A^T)^T=A \\ (A+B)^T=A^T+B^T \\ (\lambda A)^T=\lambda A^T \\ (AB)^T=B^TA^T (AT)T=A(A+B)T=AT+BT(λA)T=λAT(AB)T=BTAT 前3个很明显，证最后一个。

证：根据 ( A v ) T = v T A T (A\mathbf{v})^T = \mathbf{v^T}A^T (Av)T=vTAT ， v \mathbf{v} v 取矩阵 B B B 的每个列向量时得 ( A b 1 ) T = b 1 T A T , ⋯   , ( A b n ) T = b n T A T (A\mathbf{b_1})^T = \mathbf{b^T_1}A^T ,\cdots ,(A\mathbf{b_n})^T =\mathbf{b^T_n}A^T (Ab1​)T=b1T​AT,⋯,(Abn​)T=bnT​AT ，合成矩阵形式即得。

方阵 A T A A^TA ATA 的转置矩阵是 ( A T A ) T = A T ( ( A T ) T ) = A T A (A^TA)^T = A^T((A^T)^T)=A^TA (ATA)T=AT((AT)T)=ATA ，等于自身。

定义 对称矩阵 设 S S S 为 n n n 阶方阵，如果满足 S T = S S^T = S ST=S ，那么 S S S 称为对称矩阵，简称对称阵。

对称矩阵具有十分重要的地位，专门用大写字母 S S S 表示对称阵。

方阵 A A T AA^T AAT 也是对称矩阵。

对称矩阵的特点是，第 i i i 个列向量数值上等于第 i i i 个行向量。下面两个矩阵都是对称阵。 S = [ 0 2 2 1 ] S = [ 1 4 5 4 2 6 5 6 3 ] S = \left[ \begin{matrix} 0 & 2 \\ 2 & 1 \\ \end{matrix} \right] \qquad S = \left[ \begin{matrix} 1 & 4 & 5 \\ 4 & 2 & 6 \\ 5 & 6 & 3 \end{matrix} \right] S=[02​21​]S=⎣⎡​145​426​563​⎦⎤​ 排成表格时，数值以对角线为对称轴对应相等，所以称为对称矩阵。

内积和矩阵转置还有一个重要性质， ( v , A w ) = v T ( A w ) ＝ ( v T A ) w ＝ ( A T v ) T w = ( A T v , w ) (\mathbf{v},A\mathbf{w})=\mathbf{v^T}(A\mathbf{w}) ＝ (\mathbf{v^T}A)\mathbf{w} ＝ (A^T\mathbf{v})^T\mathbf{w}=(A^T\mathbf{v},\mathbf{w}) (v,Aw)=vT(Aw)＝(vTA)w＝(ATv)Tw=(ATv,w)

向量 v \mathbf{v} v 与向量 w \mathbf{w} w 的变换向量（变换矩阵为 A A A ）的内积等于向量 v \mathbf{v} v 的变换向量（变换矩阵为 A T A^T AT ）与向量 w \mathbf{w} w 的内积。当变换矩阵是对称阵时， ( v , S w ) = v T S w = ( S v , w ) (\mathbf{v},S\mathbf{w})=\mathbf{v^T}S\mathbf{w}=(S\mathbf{v},\mathbf{w}) (v,Sw)=vTSw=(Sv,w)

公式中矩阵 S S S 处于对称位置，故称对称矩阵。