首先给出牛顿法求解无约束优化问题的一般步骤：

给定起始点 x ∈ d o m f x\in\mathbf{dom}f x∈domf，阈值 ϵ > 0 \epsilon>0 ϵ>0。

1.计算牛顿步（方向）和减少量 Δ x n t : = − ∇ 2 f ( x ) − 1 ∇ f ( x ) ; λ 2 : = ∇ f ( x ) T ∇ 2 f ( x ) − 1 ∇ f ( x ) (1) \Delta x_\mathrm{nt}:=-\nabla^2f(x)^{-1}\nabla f(x);\quad \lambda^2:=\nabla f(x)^\mathrm{T}\nabla^2f(x)^{-1}\nabla f(x)\tag{1} Δxnt​:=−∇2f(x)−1∇f(x);λ2:=∇f(x)T∇2f(x)−1∇f(x)(1)

2.若 λ 2 / 2 < ϵ \lambda^2/20 m>0， M > 0 M>0 M>0使得对 x ∈ S x\in S x∈S， m I ⪯ ∇ 2 f ( x ) ⪯ M I mI\preceq \nabla^2f(x)\preceq MI mI⪯∇2f(x)⪯MI；

假设2： ∇ 2 f ( x ) \nabla^2f(x) ∇2f(x)在 S S S上为Lipschitz连续，即存在 L L L使得对 x , y ∈ S x,y\in S x,y∈S， ∥ ∇ 2 f ( x ) − ∇ 2 f ( y ) ∥ 2 ≤ L ∥ x − y ∥ 2 \Vert\nabla^2f(x)-\nabla^2f(y)\Vert_2\leq L\Vert x-y\Vert_2 ∥∇2f(x)−∇2f(y)∥2​≤L∥x−y∥2​。

在这两个假设前提下，牛顿法的收敛性质可描述为：存在 0 < η ≤ m 2 / L 00 γ>0使得

若 ∥ ∇ f ( x ( k ) ) ∥ 2 ≥ η \Vert\nabla f(x^{(k)})\Vert_2\geq\eta ∥∇f(x(k))∥2​≥η（damped Newton phase），则 f ( x ( k + 1 ) ) − f ( x ( k ) ) ≤ − γ (2) f(x^{(k+1)})-f(x^{(k)})\leq-\gamma\tag{2} f(x(k+1))−f(x(k))≤−γ(2)

若 ∥ f ( x ( k ) ) ∥ 2 < η \Vert f(x^{(k)})\Vert_2