Hessian矩阵正定与函数凹凸性的关系 |
您所在的位置:网站首页 › 证明x大于等于0是凸集 › Hessian矩阵正定与函数凹凸性的关系 |
1. 从矩阵变换的角度 首先半正定矩阵定义为: 其中X 是向量,M 是变换矩阵 我们换一个思路看这个问题,矩阵变换中, 于是半正定矩阵可以写成: 这个是不是很熟悉呢? 他是两个向量的内积。 同时我们也有公式: ||X||, ||Y||代表向量 X,Y的长度, 这下明白了么? 正定、半正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于等于90度。 2. 从几何图形的角度正定矩阵是一个椭球。也就是说 , 其中: 椭球的轴向:特征向量椭球的轴长:特征值 下图是n=2的情况:![]() ![]() 3. 判定方法 正定性的判定方法有很多重,其中最方便也是常用的一种为: 若所有特征值均不小于零,则称为半正定。若所有特征值均大于零,则称为正定。 当然,通过主元变换或直接求出行列式的值也是方法之一,但由于缺乏充分性,即行列式小于零一定非正定,但大于零则不一定正定,因为偶数次的负元素相乘依旧得正,因此用所有主元(对角线)上的元素来判断的方法更为完备。 4. 黑塞矩阵的正定性 Hessian矩阵的正定性在判断优化算法可行性时非常有用,简单地说,黑塞矩阵正定,则 1. 函数的二阶偏导数恒 > 0 2. 函数的变化率(斜率)即一阶导数始终处于递增状态 3. 函数为凸 因此,在诸如牛顿法等梯度方法中,使用黑塞矩阵的正定性可以非常便捷的判断函数是否有凸性,也就是是否可收敛到局部/全局的最优解 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |