1.以向量 ( 1 , 2 , 3 ) T (1,2,3)^T (1,2,3)T为初始向量，分别用最速下降法，FR共轭梯度法，牛顿法和BFGS拟牛顿法求解下面极小化问题，其中步长取为精确搜索步长，迭代至 ∥ Δ f ( x k ) ∥ ≤ 1 0 − 3 \parallel \Delta f(x_k) \parallel \le 10^{-3} ∥Δf(xk​)∥≤10−3:

m i n   x 1 2 + 4 x 2 2 + 6 x 3 2 + 3 min \ x_1^2+4x_2^2 +6x_3^2+3 min x12​+4x22​+6x32​+3,列表比较计算结果。

解：首先计算梯度和Hessian矩阵：

∇ f = ( 2 x 1 8 x 2 12 x 3 ) , ∇ 2 f = ( 2 0 0 0 8 0 0 0 12 ) \nabla f = \begin{pmatrix}2x_1\\8x_2\\12x_3\end{pmatrix}, \quad \nabla^2 f = \begin{pmatrix}2&0&0 \\ 0&8&0 \\ 0&0&12\end{pmatrix} ∇f= ​2x1​8x2​12x3​​ ​,∇2f= ​200​080​0012​ ​

计算过程采用matlab计算，计算程序代码附在最后。

最速下降法采用《最优化理论算法》（陈宝林）page283-295中介绍的公式进行设计；

FR共轭梯度法采用《最优化理论算法》（陈宝林）page294-295中介绍的公式进行设计；

牛顿法采用《最优化理论算法》（陈宝林）page287中介绍的公式进行设计；

BFGS拟牛顿法采用《最优化理论算法》（陈宝林）page314-315中介绍的公式进行设计；

将计算结果和迭代次数列表如下。

代码：

最速下降法：

FR共轭梯度法：

牛顿法:

BFGS拟牛顿法:

2.以零向量为初始向量，使用最速下降法，FR共轭梯度法，牛顿法和BFGS拟牛顿法求解下面极小化问题，其中步长为不精确搜索步长，满足Amijo搜索，迭代至 ∥ Δ f ( x k ) ≤ 1 0 − 2 \parallel \Delta f(x_k) \le 10^{-2} ∥Δf(xk​)≤10−2:

m i n   x 1 4 + 2 x 2 4 + 4 x 3 4 − x 2 2 − 2 x 2 x 3 + x 1 min\ x_1^4+2x_2^4+4x_3^4-x_2^2-2x_2x_3+x_1 min x14​+2x24​+4x34​−x22​−2x2​x3​+x1​

其中Amijo搜索为：

f ( x k ) − f ( x k + α d k ) ≥ − α ρ Δ f ( x k ) T d k f(x_k)-f(x_k+\alpha d_k)\ge -\alpha \rho\Delta f(x_k)^Td_k f(xk​)−f(xk​+αdk​)≥−αρΔf(xk​)Tdk​

这是参数 ρ = 0.5 \rho=0.5 ρ=0.5， α \alpha α初始值为1，步长缩减因子为0.9，列表比较计算结果。

解：

求出基本参数：

x 0 = [ 0 0 0 ] , α = 1 x_0=\begin{bmatrix}0\\0\\0\end{bmatrix}, \alpha = 1 x0​= ​000​ ​,α=1

∇ f ( x k ) = [ 4 x 1 3 + 1 8 x 2 3 − 2 x 2 − 2 x 3 16 x 3 3 − 2 x 2 ] \nabla f(x_k) = \begin{bmatrix}4x_1^3+1\\8x_2^3-2x_2-2x_3\\16x_3^3-2x_2\end{bmatrix} ∇f(xk​)= ​4x13​+18x23​−2x2​−2x3​16x33​−2x2​​ ​

∇ 2 f ( x k ) = [ 12 x 1 2 0 0 0 24 x 2 2 − 2 − 2 0 − 2 48 x 3 2 ] \nabla^2 f(x_k) = \begin{bmatrix} 12x_1^2 &0 &0 \\ 0 &24x_2^2-2 &-2\\ 0 &-2 &48x_3^2 \end{bmatrix} ∇2f(xk​)= ​12x12​00​024x22​−2−2​0−248x32​​ ​

原理上和第一题是一样的，区别在于步长的选择，不精确的搜索过程求解过程更加简单，在程序上实现也要较为简单，具体的matlab算法附在最后。

将计算结果和迭代次数列表如下。

代码：

最速下降法：

FR共轭梯度法：

牛顿法:

BFGS拟牛顿法: