梯度的公式定义： g r a d f ( x 0 , x 1 , ⋯   , x n ) = ( ∂ f ∂ x 0 , ⋯   , ∂ f ∂ x j , ∂ f ∂ x n ) gradf(x_0,x_1,\cdots,x_n)=(\frac{\partial f}{\partial x_0},\cdots,\frac{\partial f}{\partial x_j},\frac{\partial f}{\partial x_n}) gradf(x0​,x1​,⋯,xn​)=(∂x0​∂f​,⋯,∂xj​∂f​,∂xn​∂f​) 梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）（from baidubaike）

在机器学习领域中，大多数的问题都是最优化问题，而这些问题的求解几乎都可以使用梯度下降算法来处理，因为梯度致力于解决这样一个问题：函数沿着哪一个方向下降最快？

注意：

梯度下降算法(gradient descent)，又名最速下降算法(steepest descent)是一阶优化算法。根据目标函数在某一点处，沿梯度方向有最大的变化率，沿着这一负梯度方向减小函数值，来搜索局部最小值点

权重更新公式： θ i = θ i − α ∂ ∂ θ i J ( θ ) \theta_i=\theta_i-\alpha\frac{\partial}{\partial\theta_i}J(\theta) θi​=θi​−α∂θi​∂​J(θ) 其中， θ \theta θ为权重， α \alpha α为学习率，J为目标函数