在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？

首先，我们知道神经网络模拟了人类神经元的工作机理，激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。在神经元中，输入的input经过一系列加权求和后作用于另一个函数，这个函数就是这里的激活函数。类似于人类大脑中基于神经元的模型，激活函数最终决定了是否传递信号以及要发射给下一个神经元的内容。在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。

激活函数可以分为线性激活函数（线性方程控制输入到输出的映射，如f(x)=x等）以及非线性激活函数（非线性方程控制输入到输出的映射，比如Sigmoid、Tanh、ReLU、LReLU、PReLU、Swish 等）

这里来解释下为什么要使用激活函数？

因为神经网络中每一层的输入输出都是一个线性求和的过程，下一层的输出只是承接了上一层输入函数的线性变换，所以如果没有激活函数，那么无论你构造的神经网络多么复杂，有多少层，最后的输出都是输入的线性组合，纯粹的线性组合并不能够解决更为复杂的问题。而引入激活函数之后，我们会发现常见的激活函数都是非线性的，因此也会给神经元引入非线性元素，使得神经网络可以逼近其他的任何非线性函数，这样可以使得神经网络应用到更多非线性模型中。

在神经网络中，神经元的工作原理可以用下图进行表示：

上述过程的数学可视化过程如下图所示：

一般来说，在神经元中，激活函数是很重要的一部分，为了增强网络的表示能力和学习能力，神经网络的激活函数都是非线性的，通常具有以下几点性质：

Sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。sigmoid是一个十分常见的激活函数，函数的表达式如下： f ( x ) = 1 1 + e − x f(x)=\frac{1}{1+e^{-x}} f(x)=1+e−x1​

图像类似一个S形曲线

在什么情况下适合使用 Sigmoid 激活函数呢？

Sigmoid 激活函数存在的不足：

Tanh 激活函数又叫作双曲正切激活函数（hyperbolic tangent activation function）。与 Sigmoid 函数类似，Tanh 函数也使用真值，但 Tanh 函数将其压缩至-1 到 1 的区间内。与 Sigmoid 不同，Tanh 函数的输出以零为中心，因为区间在-1 到 1 之间。

函数表达式： f ( x ) = tanh ⁡ ( x ) = e x − e − x e x + e − x = 2 1 + e − 2 x − 1 f(x)=\tanh (x)=\frac{e^{ x}-e^{ -x}}{e^{ x}+e^{ -x}}=\frac{2}{1+e^{-2 x}}-1 f(x)=tanh(x)=ex+e−xex−e−x​=1+e−2x2​−1

我们可以发现Tanh 函数可以看作放大并平移的Logistic 函数，其值域是(−1, 1)。Tanh与sigmoid的关系如下：

t a n h ( x ) = 2 s i g m o i d ( 2 x ) − 1 tanh(x)=2sigmoid(2x)-1 tanh(x)=2sigmoid(2x)−1

tanh 激活函数的图像也是 S 形，作为一个双曲正切函数，tanh 函数和 sigmoid 函数的曲线相对相似。但是它比 sigmoid 函数更有一些优势。

你可以将 Tanh 函数想象成两个 Sigmoid 函数放在一起。在实践中，Tanh 函数的使用优先性高于 Sigmoid 函数。负数输入被当作负值，零输入值的映射接近零，正数输入被当作正值：

tanh存在的不足：

注意：在一般的二元分类问题中，tanh 函数用于隐藏层，而 sigmoid 函数用于输出层，但这并不是固定的，需要根据特定问题进行调整。

ReLU函数又称为修正线性单元（Rectified Linear Unit），是一种分段线性函数，其弥补了sigmoid函数以及tanh函数的梯度消失问题，在目前的深度神经网络中被广泛使用。ReLU函数本质上是一个斜坡（ramp）函数，公式及函数图像如下： f ( x ) = { x , x > = 0 0 , x < 0 = max ⁡ ( 0 , x ) \begin{aligned} f(x) &=\left\{\begin{array}{ll} x & , x>=0 \\ 0 & , x=0,x 0 γ x  if  x ≤ 0 = max ⁡ ( 0 , x ) + γ min ⁡ ( 0 , x ) , \begin{aligned} \text { LeakyReLU }(x) &=\left\{\begin{array}{ll} x & \text { if } x>0 \\ \gamma x & \text { if } x \leq 0 \end{array}\right.\\ &=\max (0, x)+\gamma \min (0, x), \end{aligned}  LeakyReLU (x)​={xγx​ if x>0 if x≤0​=max(0,x)+γmin(0,x),​

其中 γ \gamma γ是一个很小的数，如0.1,0.01等等。这里，令 γ = 0.1 \gamma=0.1 γ=0.1进行展示：

对于 γ < 1 \gamma 0 \\ \gamma_{i} x & \text { if } x \leq 0 \end{array}\right.\\ &=\max (0, x)+\gamma_{i} \min (0, x), \end{aligned} PReLUi​(x)​={xγi​x​ if x>0 if x≤0​=max(0,x)+γi​min(0,x),​ 其中 γ i \gamma_{i} γi​是超参数，对应了 x ≤ 0 x \leq 0 x≤0时函数的斜率。这里引入了一个随机的超参数，它可以被学习，可以对它进行反向传播。不同神经元可以有不同的参数，其中的i对应了第i个神经元，这使神经元能够选择负区域最好的梯度，有了这种能力，它们可以变成 ReLU 或 Leaky ReLU。

如果 γ i = 0 \gamma_{i} = 0 γi​=0，那么PReLU 就退化为ReLU； 如果$\gamma_{i} $ 为一个很小的常数，则PReLU 可以看作Leaky ReLU; PReLU 可以允许不同神经元具有不同的参数，也可以一组神经元共享一个参数。

在很多情况下，最好使用 ReLU，但是你可以使用 Leaky ReLU 或 Parametric ReLU 进行实践，看看哪一种方式是否更适合你的问题。

ELU（Exponential Linear Unit） 的提出同样也是针对解决 ReLU负数部分存在的问题，由Djork等人提出,被证实有较高的噪声鲁棒性。ELU激活函数对 x x x小于零的情况采用类似指数计算的方式进行输出。与 ReLU 相比，ELU 有负值，这会使激活的平均值接近零。均值激活接近于零可以使学习更快，因为它们使梯度更接近自然梯度。 函数表达式为 g ( x ) = E L U ( x ) = { x , x > 0 α ( e x − 1 ) , x ⩽ 0 \mathrm{g}(x)=\mathrm{ELU}(x)=\left\{\begin{aligned} x, & x>0 \\ \alpha\left(\mathrm{e}^{x}-1\right), & x \leqslant 0 \end{aligned}\right. g(x)=ELU(x)={x,α(ex−1),​x>0x⩽0​

显然，ELU 具有 ReLU 的所有优点，并且：

一个小问题是它的计算强度更高，计算量较大。与 Leaky ReLU 类似，尽管理论上比 ReLU 要好，但目前在实践中没有充分的证据表明 ELU 总是比 ReLU 好。

Self-Normalizing Neural Networks(SNNs)论文中SNN基于缩放的指数线性单位“ SELU”，可诱导自标准化属性（例如方差稳定化），从而避免了梯度的爆炸和消失。 SELU函数是给ELU函数乘上系数 λ \lambda λ, 即 S E L U ( x ) = λ ⋅ E L U ( x ) SELU(x)=\lambda⋅ELU(x) SELU(x)=λ⋅ELU(x)

f ( x ) = λ { α ( e x − 1 ) x ≤ 0 x x > 0 f(x)=\lambda\left\{\begin{array}{ll} \alpha\left(e^{x}-1\right) & x \leq 0 \\ x & x>0 \end{array}\right. f(x)=λ{α(ex−1)x​x≤0x>0​

通过论文中大量的证明，作者给出了 λ \lambda λ和 α \alpha α的值：

SELU函数的特点是：

Softmax 是用于多类分类问题的激活函数，在多类分类问题中，超过两个类标签则需要类成员关系。对于长度为 K 的任意实向量，Softmax 可以将其压缩为长度为 K，值在（0，1）范围内，并且向量中元素的总和为 1 的实向量。

函数表达式如下： S i = e i ∑ j e j S_{i}=\frac{e^{i}}{\sum_{j} e^{j}} Si​=∑j​ejei​

Softmax 与正常的 max 函数不同：max 函数仅输出最大值，但 Softmax 确保较小的值具有较小的概率，并且不会直接丢弃。我们可以认为它是 argmax 函数的概率版本或「soft」版本。

Softmax 函数的分母结合了原始输出值的所有因子，这意味着 Softmax 函数获得的各种概率彼此相关。

Softmax 激活函数的不足：

Swish激活函数又叫作自门控（Self-Gated）激活函数，它由谷歌的研究者发布，数学公式为： σ ( x ) = x ∗ s i g m o i d ( β x ) = x σ ( β x ) = x 1 + e − β x \sigma(x)=x*sigmoid(\beta x)=x\sigma(\beta x)=\frac{x}{1+e^{-\beta x}} σ(x)=x∗sigmoid(βx)=xσ(βx)=1+e−βxx​

β \beta β为可学习的参数或一个固定超参数， σ ( x ) ∈ ( 0 , 1 ) \sigma(x) \in (0,1) σ(x)∈(0,1)可以看做是一种软性的门控机制。 当 σ ( β x ) \sigma(\beta x) σ(βx)接近于1时，门处于“开”状态，激活函数的输出近似于x本身； 当 σ ( β x ) \sigma(\beta x) σ(βx)接近于0时，门处于“关”状态，激活函数的输出近似于0；

当 β = 0 \beta =0 β=0时，Swish 函数变成线性函数 x / 2 x/2 x/2; 当 β = 1 \beta =1 β=1时，Swish 函数在 x > 0 x>0 x>0时近似线性，在 x < 0 x