高立数值最优化方法

2023-09-05 11:04| 来源: 网络整理| 查看: 265

点击返回目录

一. 无约束最优化计算方法 1.1 数学基础

1.1.1 等值线

“等值线”的定义为：“在高维空间（

$equation?tex=n%3E3$ ）中，使目标函数取值为同一常数的点集 { $equation?tex=X%7Cf%28X%29%3Dc%2C$ $equation?tex=c$ 为一常数 } 称为 $equation?tex=f%28X%29$ 的等值线。其中目标函数 $equation?tex=f%28X%29$ 是连续的单值函数，即定义域内每一个自变量所对应的函数值是唯一的”。

高维情形有时难以想象，但可以用低维情形来理解，比如在三维情形中就如同初中地理学我们学过的等高线。现在开始我们的想象，假设三维情形下有一座崎岖不平的山脉，我们可以为它作出一圈一圈的等高线，从上帝视角俯视，我们可以发现以下4个性质：

(a)不同的等高线不相交；(b)除极点所在的等高线外，等高线不会中断；(c)等高线稠密的地方高度变化较快，稀疏的地方变化较慢（在初中地理也很明确地讲授过原因，比如你离山顶还有1米，假设等高线“间距”为5米，那么，如果这1米内有2条等高线，那意味着你再攀登2*5米就能到达山顶，如果这1米内有10条等高线，那意味着你还要攀登10*5米才能到达山顶，很明显，后者陡峭得多，即高度变化快得多~）；(d)在极值点附近，等高线近似地为同心椭圆族。以上4个性质推广至高维的等值线仍成立。

1.1.2 可微与梯度

可微

定义为：设

$equation?tex=f%3AD+%5Csubset+%5Cmathbb%7BR%7D%5En+%5Cto+%5Cmathbb%7BR%7D$ ( 映射 )，且 $equation?tex=X%5E0+%5Cin+D$ ，若存在 $equation?tex=n$ 维向量 $equation?tex=L$ ，对任意 $equation?tex=n$ 维向量 $equation?tex=P$ ，都有 $equation?tex=%5Clim_%7B%7C%7CP%7C%7C+%5Cto+0%7D+%5Cfrac%7Bf%28X%5E0%2BP%29-f%28X%5E0%29-L%5ETP%7D%7B%7C%7CP%7C%7C%7D%3D0$ ，则称 $equation?tex=f%28X%29$ 在 $equation?tex=X%5E0$ 可微。

同样来降维理解，以一元情形为例，可微定义为

$equation?tex=f%28x_0%2Ba%29+%5Capprox+f%28x_0%29%2Bka%2C%5Cexists+k$ ，做变换得 $equation?tex=%5Clim_%7Ba+%5Cto+0%7D+%5Cfrac%7Bf%28x_0%2Ba%29-f%28x_0%29-ka%7D%7Ba%7D%3D0$ ，推出熟悉的 $equation?tex=%5Clim_%7Ba+%5Cto+0%7D%5Cfrac%7Bf%28x_0%2Ba%29-f%28x_0%29%7D%7Ba%7D%3Dk$ ， $equation?tex=k$ 也就是我们熟知的极限定义中的斜率。在一元情形下，增量是个数值 $equation?tex=a$ ，那么在多元情形下，增量则是个向量 $equation?tex=P$ ，类比可以得到 $equation?tex=f%28x%5E0%2BP%29+%5Capprox+f%28x%5E0%29%2BL%5ETP$ ，同样做变换得 $equation?tex=%5Clim_%7B%7C%7CP%7C%7C+%5Cto+0%7D+%5Cfrac%7Bf%28X%5E0%2BP%29-f%28X%5E0%29-L%5ETP%7D%7B%7C%7CP%7C%7C%7D%3D0$ ，然而分子分母的 $equation?tex=P$ 和 $equation?tex=%7C%7CP%7C%7C$ 无法约去，因此不能继续再像一元情形那样写成极限得斜率的形式，但通过类比我们也可以知道 $equation?tex=L$ 是一个类似于斜率的东东！实际上 $equation?tex=L%3D%28%5Cfrac%7B%5Cpartial+f%28X%5E0%29%7D%7B%5Cpartial+x_1%7D%2C%5Cfrac%7B%5Cpartial+f%28X%5E0%29%7D%7B%5Cpartial+x_2%7D%2C...%2C%5Cfrac%7B%5Cpartial+f%28X%5E0%29%7D%7B%5Cpartial+x_n%7D%29%5ET$ 。（【1】P43证明）

2. 梯度

定义为：以

$equation?tex=f%28X%29$ 的 $equation?tex=n$ 个偏导数为分量的向量 $equation?tex=%5Cnabla++f%28X%29$ 称为 $equation?tex=f%28X%29$ 的梯度。显然 $equation?tex=%5Cnabla+f%28X%29%3DL$ 。回忆(1)中“等值线稠密的地方高度变化较快“这个性质，那么关于函数某一点处等值线最稠密的地方就是梯度方向啦，即： 沿梯度方向函数具有最大的变化率；若 $equation?tex=%5Cnabla++f%28X%29+%5Cneq+0$ ，则 $equation?tex=%5Cnabla+f%28X%5E0%29$ 与过 $equation?tex=X%5E0$ 的等值线垂直。 1. 几种特殊的梯度：(1) 对任意常数 $equation?tex=c$ ， $equation?tex=%5Cnabla+c%3D0$ ; (2) $equation?tex=%5Cnabla%28b%5ETX%29%3Db%2C$ $equation?tex=b%3D%28b_1%2Cb_2%2C...%2Cb_n%29%5ET+%5Cin+R%5En$ ; (3) $equation?tex=%5Cnabla%28X%5ET+X%29%3D2X$ ; (4) $equation?tex=%5Cnabla%28X%5ETAX%29%3D2AX%2C$ 这里 $equation?tex=A%3DA%5ET$ ; (5) $equation?tex=%5Cnabla%28X%5ETA+X%29%3DAX%2BA%5ETX$ 。

1.1.3 方向导数

定义为：设

$equation?tex=P+%5Cin+%5Cmathbb%7BR%7D%5En%2C%7C%7CP%7C%7C%3D1%2C$ 可微函数 $equation?tex=f%28X%29$ 在 $equation?tex=X$ 点沿方向 $equation?tex=P$ 的方向导数为：

【本文地址】

高立数值最优化方法

高立数值最优化方法

今日新闻

推荐新闻