​​​​​​导数、偏导数、梯度、方向导数、梯度下降、二阶导数、二阶方向导数

1、全局最大值点和全局最小值点

global minimum：在该点的函数值达到最小值。一个函数可能有1个或者多个全局最小值点。

global maximum：在该点的函数值达到最大值。一个函数可能有1个或者多个全局最大值点。

2、局部最小值点和局部最大值点

local minimum：在该点的函数值比周围点的函数值都要小。在附近移动极小步不会使函数值下降。

local maximum：在该点的函数值比周围点的函数值都要大。在附近移动极小步不会使函数值上升。

3、驻点（临界点）和鞍点

critical points / stationary points：对于一元函数，一阶导数为0的点叫做驻点（临界点），对于多元函数，驻点是所有一阶偏导数都为零（梯度向量为零向量）的点。驻点包括三种情况：最小值点（局部/全局）、最大值点（局部/全局）、鞍点。

saddle points：鞍点是驻点的一种情况。如果驻点既不是最小值点也不是最大值点，那么为鞍点。

可参考下图理解一元函数中的驻点的三种情况：

可参考下图理解多元函数的各种鞍点：

马鞍点：（函数 中的点(0,0,0)）（形状类似马鞍）

另一种鞍点：（函数 中的点(0,0,0)）

另外一种鞍点：（函数中的点(0,0,0)）

当一阶导数为 0 或者梯度向量为零向量时，该点为驻点，如何判断该驻点是局部最小值点还是局部最大值点还是鞍点呢？我们可以利用二阶导数判断。

1、一元函数：

一元函数的情况比较容易理解，就不多做解释了。

2、多元函数：