先抛出一个问题：梯度下降的方向为什么与切线方向垂直？

       从图上能够看出，也经常听老师同学说起，梯度下降的方向与等高线的切线方向垂直。 那么为什么会垂直呢？其实是一个高数问题。 解释 假设我们的损失函数为z=f(x,y)，在几何上表示是一个曲面，该曲面被平面c（c为常数）所截得的曲线l方程为： 这条曲线l在xoy轴面上的投影是一条平面曲线Q，它在xoy平面直角坐标系中的方程为

f(x,y)=c

则我们称平面曲线Q为函数z=f(x,y)的等高线。 由于等高线f(x,y)=c上任一一点的切线斜率用dy/dx来求。 则等高线f(x,y)=c上任一一点(x,y)处的法线的斜率为： ，其中θ为法线和x轴的夹角 ps:上式中dy/dx=-fx/fy如何推导见[隐函数导数推导] 又因为梯度的计算式子为： z=f(x,y)的梯度向量为 ，设该向量与x轴的夹角大小为 γ，则可以得到梯度的方向为： 从上可以看出梯度的方法与等高线f(x,y)=c上任一一点的法线斜率是相同的。 这也就解释了为什么梯度的方向与等高线切线方向垂直的原因。 结论如下： 函数z=f(x,y)在点p(x,y)的梯度的方向与过点p的等高线f(x,y)=c在这点的法线方向相同。梯度的方向与等高线切线方向垂直