Hessian矩阵与多元函数极值 |
您所在的位置：网站首页 › 三元函数极值判别公式 › Hessian矩阵与多元函数极值 |
|
Hessian矩阵与多元函数极值
海塞矩阵（Hessian Matrix），又译作海森矩阵，是一个多元函数的二阶偏导数构成的方阵。虽然它是一个具有悠久历史的数学成果。可是在机器学习和图像处理（比如SIFT和SURF特征检測）中，我们也经常遇到它。所以本文就来向读者道一道Hessian Matrix的来龙去脉。本文的主要内容包括： 多元函数极值问题 泰勒展开式与Hessian矩阵 多元函数极值问题回忆一下我们是怎样处理一元函数求极值问题的。 比如。f(x)=x2，我们会先求一阶导数，即f′(x)=2x，依据费马定理极值点处的一阶导数一定等于 0。但这仅是一个必要条件。而非充分条件。对于f(x)=x2来说，函数的确在一阶导数为零的点取得了极值，可是对于f(x)=x3来说，显然只检查一阶导数是不足以下定论的。 这时我们须要再求一次导，假设二阶导数 f″0，则说明函数在该点取得局部极小值；假设 f″=0。则结果仍然是不确定的，我们就不得不再通过其它方式来确定函数的极值性。 假设要在多元函数中求极值点，方法与此相似。 作为一个演示样例。最好还是用一个三元函数 f=f(x,y,z) 来作为演示样例。首先要对函数中的每一个变量分别求偏导数，这会告诉我们该函数的极值点可能出如今哪里。即 ∂f∂x=0∂f∂y=0∂f∂x=0 接下来。要继续求二阶导数，此时包括混合偏导数的情况一共同拥有 9 个。假设用矩阵形式来表示的话就得到 H=⎡⎣⎢⎢⎢⎢⎢⎢⎢∂2f∂x∂x∂2f∂y∂x∂2f∂z∂x∂2f∂x∂y∂2f∂y∂y∂2f∂z∂y∂2f∂x∂z∂2f∂y∂z∂2f∂z∂z⎤⎦⎥⎥⎥⎥⎥⎥⎥这个矩阵就称为Hessian矩阵。当然上面所给出的不过一个三阶的Hessian矩阵。 稍作扩展。我们能够对一个在定义域内二阶连续可导的实值多元函数 f(x1,x2,⋯,xn) 定义其Hessian矩阵H例如以下 H=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f∂x21∂2f∂x2∂x1⋮∂2f∂xn∂x1∂2f∂x1∂x2∂2f∂x22⋮∂2f∂xn∂x2⋯⋯⋱⋯∂2f∂x1∂xn∂2f∂x2∂xn⋮∂2f∂x2n⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥当一元函数的二阶导数等于 0 时，我们并不能确定函数在该点的极值性。相似地，面对Hessian矩阵，仍然存在无法断定多元函数极值性的的情况。即当Hessian矩阵的行列式为 0 时。我们无法确定函数能否取得极值。甚至我们可能会得到一个鞍点，也就是一个既非极大值也非极小值的的点。 基于Hessian矩阵，就能够推断多元函数的极值情况了。结论例如以下 假设是正定矩阵，则临界点处是一个局部极小值 假设是负定矩阵，则临界点处是一个局部极大值 假设是不定矩阵，则临界点处不是极值 怎样推断一个矩阵是否是正定的，负定的，还是不定的呢？一个最经常使用的方法就是顺序主子式。实对称矩阵为正定矩阵的充要条件是的各顺序主子式都大于零。当然这个判定方法的计算量比較大。 对于实二次型矩阵另一个判定方法：实二次型矩阵为正定二次型的充要条件是的矩阵的特征值全大于零。为负定二次型的充要条件是的矩阵的特征值全小于零，否则是不定的。 假设你对二次型的概念仍然不非常熟悉，这里也稍作补充。定义含有 n 个变量 x1,x2,⋯,xn 的二次齐次函数 f(x1,x2,⋯,xn)=a11x21+a22x22+⋯+annx2n+2a12x1x2+2a13x1x3+⋯+2an−1,nxn−1xn 为二次型。取 aij=aji，则 2aijxixj+ajixjxi，于是上式能够写成 f==a11x21+a12x1x2+⋯+a1nx1xn+a21x2x1+a22x22+⋯+a2nx2xn+⋯+an1xnx1+an2xnx2+⋯+annx2n∑i,j=1naijxixj 更进一步，假设用矩阵对上式进行改写，则有 f===x1(a11x1+a12x2+⋯+a1nxn)+x2(a21x1+a22x2+⋯+a2nxn)+⋯+xn(an1x1+an2x2+⋯+annxn)(x1,x2,⋯,xn)⎡⎣⎢⎢⎢⎢a11x1+a12x2+⋯+a1nxna21x1+a22x2+⋯+a2nxn⋮an1x1+an2x2+⋯+annxn⎤⎦⎥⎥⎥⎥(x1,x2,⋯,xn)⎡⎣⎢⎢⎢⎢a11a21⋮an1a12a22⋮an2⋯⋯⋱⋯a1na2n⋮ann⎤⎦⎥⎥⎥⎥⎡⎣⎢⎢⎢⎢x1x2⋮xn⎤⎦⎥⎥⎥⎥ 记 A=⎡⎣⎢⎢⎢⎢a11a21⋮an1a12a22⋮an2⋯⋯⋱⋯a1na2n⋮ann⎤⎦⎥⎥⎥⎥,x=⎡⎣⎢⎢⎢⎢x1x2⋮xn⎤⎦⎥⎥⎥⎥ 则二次型可记作 f=xTAx，当中 A为对称阵。 设有二次型 f=xTAx，假设对不论什么 x≠0，都有 f>0，则称 f 为正定二次型。并称对称矩阵 A 是正定的。假设对不论什么 x≠0，都有 f0 弱化为 xTAx≥0。则称对称矩阵 A 是半正定的。 泰勒展开式与Hessian矩阵主页君已经在之前的《图像处理中的数学原理具体解释》系列文章中介绍过泰勒展开式了。 但那个时候我们给出的是一元函数的泰勒公式，最好还是先来复习一下。 设一元函数 f(x) 在包括点x0的开区间 (a,b) 内具有 n+1 阶导数。则当 x∈(a,b) 时。有 f(x)=f(x0)+f′(x0)(x−x0)+f″(x0)2!(x−x0)2+⋯+f(n)(x0)n!(x−x0)n+Rn(x) 当中 Rn(x)=f(n+1)(ξ)(n+1)!(x−x0)n+1 而且。ξ 在 x 和 x0之间，这被称作是拉格朗日余项。上式被称为 f(x) 的 n 阶泰勒公式。在不须要余项的精确表达式时。Rn(x) 能够记作 o[(x−x0)n]，这被称为是皮亚诺余项。如今我们把上面这个结论略微做一下推广，从而给出二元函数的泰勒公式。设二元函数 z=f(x,y) 在点 (x0,y0) 的某一邻域内连续且有直到 n+1 阶的连续偏导数，则有 f(x,y)=f(x0,y0)+[(x−x0)∂∂x+(y−y0)∂∂y]f(x0,y0)+12![(x−x0)∂∂x+(y−y0)∂∂y]2f(x0,y0)+⋯++1n![(x−x0)∂∂x+(y−y0)∂∂y]nf(x0,y0)+1(n+1)f[x0+θ(x−x0),y0+θ(y−y0)] 当中，0 |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |