(三) 深度学习笔记 |关于梯度、导数、偏导数和方向导数的理解 |
您所在的位置:网站首页 › 偏导数与梯度 › (三) 深度学习笔记 |关于梯度、导数、偏导数和方向导数的理解 |
一、关于梯度
简单来说:梯度不是一个值,而是一个方向 1.delta法则为了克服多层感知机调参存在的问题,人们设计了一种名为delta( [公式] )法则(delta rule)的启发式方法,该方法可以让目标收敛到最佳解的近似值。 delta法则的核心思想在于,使用梯度下降(gradient descent)的方法找极值。 2.一维梯度
对于多维变量的函数,梯度概念就不那么容易理解了,它就要涉及到标量场概念。 在向量微积分中,标量场的梯度,其实是一个向量场(vector field)。假设一个标量函数f的梯度记为: [公式] 或grad f,这里表示向量微分算子。那么,在一个三维直角坐标系,该函数的梯度就可以表示为公式: 1)把y,z视为常量,得x的“局部导数”: (3) 最后把x,y视为常量,得z的“局部导数”: 于是,函数f的梯度可表示为:
所谓导数,就是用来分析函数“变化率”的一种度量。针对函数中的某个特定点x0,该点的导数就是x0点的“瞬间斜率”,也即切线斜率。 1.14个基本初等函数的导数导数是一元函数的变化率(斜率)。导数也是函数,是函数的变化率与位置的关系。 如果是多元函数呢?则为偏导数。 偏导数是多元函数“退化”成一元函数时的导数,这里“退化”的意思是固定其他变量的值,只保留一个变量,依次保留每个变量,则𝑁元函数有𝑁个偏导数。 一个变量对应一个坐标轴,偏导数为函数在每个位置处沿着自变量坐标轴方向上的导数(切线斜率)。 更多详情可查看:https://zhuanlan.zhihu.com/p/43492827 四、方向导数方向导数的本质是一个数值,简单来说其定义为:一个函数沿指定方向的变化率。 构建方向导数需要有两个元素: 函数指定方向 当然,与普通函数的导数类似,方向导数也不是百分之百存在的,需要函数满足在某点处可微,才能计算出该函数在该点的方向导数。我们将下图看作是一座山的模型,我们处在山上的某一点处,需要走到山下。理论上来说,这座山的表面是可以通过一个函数的描述的(虽然想要找到这个函数可能很难),而这个函数可以在不同的方向上都确定出一个方向导数,这就好比于如果我们想下山,道路并不是唯一的,而是可以沿任何方向移动。区别在于有些方向可以让我们下山速度更快,有些方向让我们下山速度更慢,有些方向甚至引导我们往山顶走(也可以理解为下山速度时负的)。在这里,速度的值就是方向导数的直观理解。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |