根据一元函数极值的必要条件和多元复合函数求导公 式,得 j Aa)=-?fLxk ak#if(xk)] f(xk)=0 xk+1=Xk- ak? f(x, x [蜒( Xk+l )f(xk)=0 相邻两点的函数梯度相互垂直 局部最快,整体上并不是最快 图最速下降法的搜索路径 2021/2/20 6

2021/2/20 6 • 根据一元函数极值的必要条件和多元复合函数求导公 式，得 • 相邻两点的函数梯度相互垂直 • 局部最快，整体上并不是最快 ( ) { [ ( )]} ( ) T j ¢ a f x a f x f x = - ? k k k k 蜒 = 0 [ ( )] ( ) T 蜒f x f x k k + 1 = 0 ( ) x x a f x k k k k + 1 = - ? T d d k k + 1 = 0 x1 x2 O 图 最速下降法的搜索路径

例题 1.求目标函数f(x)x12+25x2的极小值 取初始点x0=[2,2丁 初始点处函数值及梯度分别为 104 f(r) 2 沿负梯度方向搜索 40 f(x0) )0 100 0 2021/2/20

2021/2/20 7 例题 1. 求目标函数f(x)=x1 2+25x2 2的极小值 取初始点x 0=[2,2]T 初始点处函数值及梯度分别为 ( ) 0 f x = 104 ( ) 1 0 2 2 4 50 100 x f x x 轾 轾 ? = 犏 犏 犏 犏 臌 臌 沿负梯度方向搜索 ( ) 0 1 0 0 0 0 0 2 4 2 4 2 100 2 100 a x x a f x a a 轾 轾 轾 - = - ? - = 犏 犏 犏 犏 犏 犏- 臌 臌 臌

求最佳步长 f(x)=minf[x-a? f(xo) min{(2-4a0)2+25(2-1000}= miny (a a为一维搜索最佳步长,应满足极值必要条件 ja0)=-8(2-4)-5000(-100)=0 可算出一维搜索最佳步长 626 0.02003072 31252 以及第一次迭代设计点的位置和函数值 1.919877 1000:0,3071785?102 从而完成了最速下降法的第一次迭代 2021/2/20 8

2021/2/20 8 a0为一维搜索最佳步长，应满足极值必要条件 ( ) [ ( )] {( ) ( ) } ( ) 1 0 0 2 2 0 0 min min 2 4 25 2 100 min a a a f x f x a f x a a a j = - ? = - + - = ( ) ( ) ( ) j ¢ a a a 0 = - - - - = 8 2 4 5000 2 100 0 可算出一维搜索最佳步长 0 626 0.02003072 31252 a = = 以及第一次迭代设计点的位置和函数值 0 1 2 0 2 4 1.919877 2 100 0.3071785 10 a x a - 轾 - 轾 = = 犏 犏 犏臌 - 犏犏- ? 臌 从而完成了最速下降法的第一次迭代 求最佳步长

继续下去,经过10次迭代后,可以得到最 优解 f(x")=0 该问题的目标函数fx)的等值线为一族椭圆 迭代点从x走的是一段锯齿路线。 2021/2/20

2021/2/20 9 • 继续下去，经过10次迭代后，可以得到最 优解 • 该问题的目标函数f(x)的等值线为一族椭圆， 迭代点从x 0走的是一段锯齿路线。 0 0 x * 轾 = 犏犏臌 f x( ) 0 * = x 0 x 1 x 2

最速下降算法的程序框图 给定x0,E k=0 dk= f(x) ak=minf(x*+a, dk) x*+l=x+adk k=k+1 是 否 +1-< 结束 2021/2/20

2021/2/20 10 最速下降算法的程序框图 给定x 0 ,  k=0 d k=f(xk ) ak=minf(xk+akd k ) x k+1=xk+akd k k=k+1 ‖x k+1－x k x*=x ‖＜ k+1 结束 是 否