前言

机器学习中的大部分问题都是优化问题，而绝大部分优化问题都可以用梯度下降法来解决。本文详细的解释了高数中几个易混淆的重要概念，如导数和微分的区别，偏导数的概念，方向导数和梯度的关系，若完全掌握这几个概念，就能很好的理解梯度为什么是函数变化最快的方向的问题。

目录

1、导数和微分

2、偏导数

3、方向导数和梯度的关系

4、总结

导数和微分

导数的定义

本质：导数描述的是函数在一点处的变化快慢的趋势，是一个变化的速率。如曲线方程的导数是随点变化的斜率，运动方程的导数是随时间变化的速率。

微分的定义

本质：微分描述的是函数从一个点移动到另一个无穷小的点所产生的的变化量。

函数增量与微分的关系