2018-04-12

摘要:

1.概述

2.激活函数与导数

3.激活函数对比

内容：

1.概述

深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的activation function，传入到下一层神经元；再经过该层神经元的activate，继续往下传递，如此循环往复，直到输出层。正是由于这些非线性函数的反复叠加，才使得神经网络有足够的capacity来抓取复杂的pattern，选择怎样的activation function的标准之一是其优化整个深度神经网络的效果。

2.激活函数与导数

2.1sigmoid函数

2.2tanh函数

2.3ReLU函数

2.4ReLU的其他变种

3.激活函数对比

Sigmoid函数是深度学习领域开始时使用频率最高的activation function。它是便于求导的平滑函数

然而，Sigmoid有三大缺点：

机器学习 深度学习