【精选】常见激活函数适用场景及优缺点分析 |
您所在的位置:网站首页 › tanh函数和arctan › 【精选】常见激活函数适用场景及优缺点分析 |
什么是激活函数
激活函数(Activation Function)是一种添加到人工神经网络中的函数,旨在帮助网络学习数据中的复杂模式。在神经元中,输入的input经过一系列加权求和后作用于另一个函数,这个函数就是这里的激活函数。下图为单个感知机模型的结构,其中
f
(
⋅
)
f(·)
f(⋅)即为激活函数,
y
=
f
(
∑
w
i
x
i
)
y=f(\sum w_ix_i)
y=f(∑wixi)。 对于一个多层感知机,给当一个小批量样本 X ∈ R n × d X \in \Bbb R^{n×d} X∈Rn×d,其批量大小为 n n n,输入个数为 d d d。假设多层感知机只有一个隐藏层,其中隐藏单元个数为 h h h。记隐藏层的输出(也成为隐藏层变量或隐藏变量)为 H H H,有 H ∈ R d × h H \in \Bbb R{d×h} H∈Rd×h。因为隐藏层和输出层军事全连接层,可以设隐藏层的权重参数和偏差参数分别为 W h ∈ R d × h W_h \in \Bbb R^{d×h} Wh∈Rd×h和 b h ∈ R 1 × h b_h \in \Bbb R{1×h} bh∈R1×h,输出层的权重和偏差参数分别为 W o ∈ R h × q W_o\in \Bbb R{h×q} Wo∈Rh×q和 b o ∈ R 1 × q b_o \in \Bbb R{1×q} bo∈R1×q。 不妨设一种含但隐藏层的多层感知机的设计。其输出 O ∈ R n × q O \in \Bbb R{n×q} O∈Rn×q的计算为 H = X W h + b h H = XW_h+b_h H=XWh+bh O = H W o + b o O=HW_o+b_o O=HWo+bo 也就是将隐藏层的输出直接作为输入层的输入。如果将以上两个式子连立起来,可以得到 O = ( X W h + b h ) W o + b o = X W h W o + b h W o + b o O=(XW_h+b_h)W_o+b_o=XW_hW_o+b_hW_o+b_o O=(XWh+bh)Wo+bo=XWhWo+bhWo+bo 从联立后的狮子可以看出,虽然神经网络引入了隐藏层,却依然等价于一个单层神经网络:其中输出层权重参数为 W h W o W_hW_o WhWo,偏差参数为 b h W o + b o b_hW_o+b_o bhWo+bo。不难发现,即便再添加更多的隐藏层,以上设计依然只能与仅含输出层的单层神经网络等价。 该问题的根源在于全连接层只是对数据做仿射变换(affine transformation),而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换,例如对隐藏变量使用按元素运算得非线性函数进行变换,然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数(activation function)。 激活函数的特性可微性:但优化方法是基于梯度的时候,这个性质是必需的,否则无法进行反向传播。 单调性:当激活函数是单调的时候,单层神经网络能保证是凸函数。 输出值的范围:当激活函数输出值是有限的时候,基于梯度的优化方法会更加稳定,因为特征的表示受有限权值的影响更显著;当激活函数的输出是无限的时候,模型的训练会更加高效,不过这种情况下,一般需要更小的学习率(learning rate)。 从目前来看,常见的激活函数多是分段线性和具有指数形状的非线性函数。 常用激活函数 sigmoid
f
(
x
)
=
1
1
+
e
−
x
f(x) = \frac{1}{1+e^{-x}}
f(x)=1+e−x1 sigmoid函数在早期的神经网络中较为普遍,取值范围为(0,1),它可以将一个实数映射到(0,1)的区间,可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。不过它目前逐渐被更简单的ReLU函数取代。 适用情况:1.Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到1,因此它对每个神经元的输出进行了归一化; 2.用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1,因此 Sigmoid 函数非常合适; 3.梯度平滑,避免「跳跃」的输出值; 4.函数是可微的。这意味着可以找到任意两个点的 sigmoid 曲线的斜率; 5.明确的预测,即非常接近 1 或 0。 缺点:在讲sigmoid的缺点前,我们先了解一下饱和性的概念: 当我们的n趋近于正无穷,激活函数的导数趋近于0,那么我们称之为右饱和;当我们的n趋近于负无穷,激活函数的导数趋近于0,那么我们称之为左饱和;当一个函数既满足左饱和又满足右饱和的时候我们就称之为饱和。 对于任意的x,如果存在常数c,当x>c时,恒有 f ′ ( x ) = 0 f'(x)=0 f′(x)=0则称其为右硬饱和;如果对于任意的x,如果存在常数c,当x |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |