一元函数(导数) --> 多元函数(梯度)

如果一个多元函数，有n个自变量，它的梯度就是由n个偏导数组成的向量(称为梯度)。

雅克比矩阵是由一阶偏导数构成的矩阵，发明它是用来简化求导公式(对多元的复合函数求导)

会在人工神经网络的反向传播算法用到，向量到向量的映射函数。

一元函数(二阶导数) --> 多元函数(二阶偏导数)

Hessian矩阵和多元函数的凹凸性有关系的

Hessian矩阵正定: 凸函数

Hessian矩阵负定: 凹函数

用一个多项式函数逼近任意一个连续的可导函数

在ML的最优化中，

对于梯度下降法法，是用到泰勒展开的一次函数来逼近原函数，忽略更高次的项

对于牛顿法，是用到泰勒展开的二次函数来逼近原函数，忽略更高次的项

矩阵有"合同"和"相似"两个概念

纯二次项构成的一个数，(列向量X的转置)*矩阵A*(列向量X) = 标量。

在逻辑回归和SVM里，经常采用二次型这样的写法，这样比写二重求和式简洁很多。

A--n阶方阵

齐次线性方程组要有非0解，A的行列式=0，也就是A不满秩。

>=5次的代数方程，没有求根公式，求解困难。

计算矩阵的特征值(lambda)，一般采用QR算法，

对于:对称矩阵--Householder变换--化成3对角矩阵(3对角上元素不为0，其他位置元素都为0)

对于:一般矩阵--Householder变换--化成上三角矩阵(不是严格的上三角矩阵，主对角线下面的一条对角线上元素也是非0的，然后下面位置的元素才都为0)

再用QR算法求解。

trace(迹): 所有主对角线上元素之和

//主成分分析，流型学习，LDA(线性判别分析)

正交矩阵P的逆等于P的转置，所有的行和列相互之间是正交的。2个向量正交，是夹角为90度，这里也就是原矩阵的行向量和列向量相互之间是正交的。

通过一个正交矩阵，将一个矩阵A化成一个对角矩阵，通过一个正交变换来做到的。

该对角矩阵的主对角线是由A所有的特征值构成的。

它的反向操作就是，可以将一个矩阵A转换为(正交矩阵P)*(对角矩阵)*(正交矩阵P的逆)

sigma是对角矩阵，不是方阵也可以定义它的对角矩阵。

U和V都是正交矩阵:

U:AA(T)正交化的特征向量构成的一个矩阵(m*m)

V:AA(T)正交化的特征向量构成的一个矩阵(n*n)

//NLP，推荐系统

数学期望: 对于离散随机变量，概率意义上的平均值。

传统的平均值，是默认概率均等(都=1/n)。

方差反应数据集的波动程度。

协方差矩阵是对称的，主对角线是随机变量自身与自身的协方差，也就是对角线上元素为每个随机变量的方差

x1,x2协方差表示的是两个随机变量对应的样本值分别都减去各自数学期望后的乘积的数学期望。

最大似然估计，是通过观测已经发生的样本去估计模型的参数。常见的是，这些样本Xi都是独立同分布的，即X随机向量的每个分量(每个样本)都服从某一概率分布函数p(x;theta)。