共轭梯度法最初由Hesteness和Stiefel于1952年为求解线性方程组而提出的。其基本思想是把共轭性与最速下降方法相结合，利用已知点处的梯度构造一组共轭方向，并沿这组方向进行搜素，求出目标函数的极小点。根据共轭方向基本性质，这种方法具有二次终止性。

对于二次凸函数的共轭梯度法： m i n f ( x ) = 1 2 X T A X + B T X + C minf(x) = \frac{1}{2}X^TAX+B^TX+C minf(x)=21​XTAX+BTX+C

用共轭梯度法求二次函数的极小值与极小点，设初值为[1,1]，迭代精度为0.001 f ( x 1 ， x 2 ) = x 1 2 + 2 x 2 2 − 4 x 1 − 2 x 1 x 2 f(x_1，x_2) = x^2_1+2x^2_2-4x_1-2x_1x_2 f(x1​，x2​)=x12​+2x22​−4x1​−2x1​x2​

A.计算偏导 ▽ f ( x 0 ) = [ 2 x 1 − 2 x 2 − 4 4 x 2 − 2 x 1 ] = [ − 4 2 ] \bigtriangledown f(x_0)=\quad \begin{bmatrix} 2x_1-2x_2-4\\4x_2-2x_1\end{bmatrix} \quad=\quad \begin{bmatrix} -4\\2\end{bmatrix} \quad ▽f(x0​)=[2x1​−2x2​−44x2​−2x1​​]=[−42​] B.搜索最佳步长 x i = x 0 + a 0 ▽ f ( x 0 ) = = [ 1 1 ] + a 0 [ − 4 2 ] = [ 1 + 4 a 0 1 − 2 a 0 ] f ( x i ) = min ⁡ a f ( x i ) = min ⁡ a ( ( 1 + 4 a ) 2 + 2 ( 1 − 2 a ) 2 − 4 ( 1 + 4 a ) − 2 ( 1 + 4 a ) ( 1 − 2 a ) ) = min ⁡ a ( 40 a 2 − 20 a − 3 ) a 0 = 0.25 , x 1 = [ 2 0.5 ] , ▽ f ( x 1 ) = [ − 1 − 2 ] x_i=x_0+a_0\bigtriangledown f(x_0)=\quad=\quad \begin{bmatrix} 1\\1\end{bmatrix} \quad+a_0 \quad \begin{bmatrix} -4\\2\end{bmatrix} \quad= \quad \begin{bmatrix} 1+4a_0\\1-2a_0\end{bmatrix} \quad \\f(x_i)=\min\limits_{a}f(x_i) \\=\min\limits_{a}((1+4a)^2+2(1-2a)^2-4(1+4a)-2(1+4a)(1-2a)) \\=\min\limits_{a}(40a^2-20a-3) \\ a_0=0.25,x_1=\quad \begin{bmatrix} 2\\0.5\end{bmatrix} \quad,\bigtriangledown f(x_1)= \begin{bmatrix} -1\\-2\end{bmatrix} \quad xi​=x0​+a0​▽f(x0​)==[11​]+a0​[−42​]=[1+4a0​1−2a0​​]f(xi​)=amin​f(xi​)=amin​((1+4a)2+2(1−2a)2−4(1+4a)−2(1+4a)(1−2a))=amin​(40a2−20a−3)a0​=0.25,x1​=[20.5​],▽f(x1​)=[−1−2​] C.第二次迭代 b 0 = ∥ ▽ f ( x 1 ) ∥ 2 ∥ ▽ f ( x 0 ) ∥ 2 = 0.25 s 1 = − ▽ f ( x 1 ) − b 0 ▽ f ( x 0 ) = [ 2 1.5 ] x i + 1 = x i + a ▽ f ( x i ) = = [ 2 0.5 ] + a [ 2 1.5 ] = [ 2 + 2 a 0.5 + 1.5 a ] a = 1.25 , x 2 = [ 4 2 ] , ▽ f ( x 2 ) = [ 0 0 ] ∥ ▽ f ( x 2 ) ∥ 2 = 0 < ξ 收敛 b_0= \frac{\parallel \bigtriangledown f(x_1)\parallel^2}{\parallel \bigtriangledown f(x_0)\parallel^2}=0.25 \\ s1=- \bigtriangledown f(x_1)-b_0\bigtriangledown f(x_0)=\quad \begin{bmatrix} 2\\1.5\end{bmatrix} \quad \\ x_{i+1}=x_i+a\bigtriangledown f(x_i)=\quad=\quad \begin{bmatrix} 2\\0.5\end{bmatrix} \quad+a \quad \begin{bmatrix} 2\\1.5\end{bmatrix} \quad= \quad \begin{bmatrix} 2+2a\\0.5+1.5a\end{bmatrix} \quad \\ a=1.25,x_2=\quad \begin{bmatrix} 4\\2\end{bmatrix} \quad,\bigtriangledown f(x_2)= \begin{bmatrix} 0\\0\end{bmatrix} \quad \\ \parallel \bigtriangledown f(x_2)\parallel^2=0xi,yi},x); fi=[dxv,dyv];%初始点梯度向量 count=0;%搜索次数初始值 while double(sqrt(dxv^2+dyv^2))>t%搜素精度不满足已知条件 if countxi,yi},x);%代入初值计算当前点做多对xi的一阶偏导实值 dfyiv=subs(fy,{xi,yi},x); dfii=[dfxiv,dfyiv];%下一点梯度向量 b0=(dfxiv^2+dfyiv^2)/(dxv^2+dyv^2);% s1=-dfii+b0*ds;%下一点搜索的方向向量 count=count+1;%搜索次数+1 dxv=dfxiv; dyv=dfyiv; end x,f=subs(func,{xi,yi},x),count%输出极值点，极小值以及搜索次数

三元问题

当目标函数是高于二次的连续函数(即目标函数的梯度存在)时，其对应的解方程是非线性方程，非线性问题的目标函数可能存在局部极值，并且破坏了二次截止性，共轭梯度法需要在两个方面加以改进后，仍然可以用于实际的反演计算，但共轭梯度法不能确保收敛到全局极值。 (1)首先是共轭梯度法不能在n维空间内依靠n步搜索到达极值点，需要重启共轭梯度法，继续迭代，以完成搜索极值点的工作。 (2)在目标函数复杂，在计算时，由于需要局部线性化，需计算Hessian矩阵A，且计算工作量比较大，矩阵A也有可能是病态的。 参考文献： https://www.cnblogs.com/walccott/p/4956966.html https://wenku.baidu.com/view/613e7216336c1eb91a375da4.html https://wenku.baidu.com/view/19b537e164ce0508763231126edb6f1afe007173.html