机器学习/深度学习中，需要使用训练数据来最小化损失函数，从而确定参数的值。而最小化损失函数，即需要求得损失函数的极值。 求解函数极值时，需要用到导数。对于某个连续函数 f ( x ) f(x) f(x)，令其一阶导数 f ′ ( x ) = 0 f'(x)=0 f′(x)=0 ，通过求解该微分方程，便可直接获得极值点。但当变量很多或者函数很复杂时， f ′ ( x ) = 0 f'(x)=0 f′(x)=0的显式解并不容易求得。且计算机并不擅长于求解微分方程。 计算机所擅长的是，凭借强大的计算能力，通过插值等方法（如牛顿下山法、弦截法等），海量尝试，一步一步的去把函数的极值点“试”出来。 而海量尝试需要一个方向感，为了阐述这个方向感，介绍一下方向导数。

梯度下降由梯度方向，和步长决定，每次移动一点点。但是每一次移动都是对你所在的那个点来说，往极值方向，所以能够保证收敛。