无约束问题是指只有优化目标，而不存在约束条件的问题，用数学模型可表示为

无约束优化方法是通常是由给定的初始点出发，按一定的规则不断向最优解趋近，根据不同的趋近思想/规则，有如下的方法。下面介绍其中常见的三种方法。

牛顿法基本思想是用 f(x) 在已知点 x0 处的二阶 Taylor 展开式来近似代替f(x) ，即 用 g(x) 的极小值点 x1 作为 f(x) 的近似极小值点，即对g(x)两边求导，代入 x1 后化简： 以此类推，得到迭代规则：