返回主目录

返回神经网络目录

上一章：深度篇——神经网络(一)  神经元与感知机

下一章：深度篇——神经网络(三)  网络拓扑与训练神经网络

当神经网络只有一个隐藏层时，成为 ANN

当神经网络的隐藏层为两个或两个以上时，称为 DNN

(1). 激活函数

       将神经元的净输入信号转换成单一的输出信号，以便进一步在网络中传播

(2). 网络拓扑

      描述了模型中神经元的数量以及层数和它们连接的方式：

(3). 训练算法

      指定如何设置连接权重，以便抑制或增加神经元在输入信号中的比重

(4). 调优神经网络

(1). 激活函数的理解

     神经网络激活函数决定在神经网络中是否传递信号，或决定传递什么信号(如正例信号或负例信号)

(2). 激活函数的类型

   ①. 线性激活函数

      这是一种简单的线性函数，公司为：

      基本上，输入到输出过程中不经过修改

   ②. 非线性激活函数

      用于分离非线性可分的数据，是最常用的激活函数。非线性方程控制输入到输出的映射。常用的非线性激活函数有：

       Tanh、Sigmoid、ReLU、LReLU、PReLU、Softmax。。。。。

(3). 人工神经网络使用非线性激活函数的原因

   ①. 神经网络用于实现复杂的函数，非线性激活函数可以使神经网络随意地逼近任意复杂函数

   ②. 而如果使用线性激活函数，网络每一层的输入都是上一层的线性输出，因此，无论该神经网络有多少层，最终输出都是输入的线性组合，与没有隐藏层的效果相当，这种情况就是最原始的感知机。并且还降低了效率。

   ③.  因此，才需要引入非线性函数作为激活函数，这样深层神经网络才有意义，输出不再是输入的线性组合，才可以逼近任意函数。

(4). 神经网络常用的非线性激活函数

   ①. Sigmoid

      Sigmoid又叫作Logistic激活函数，它将实数值压缩进 0 ~ 1 的区间内，还可以在预测概率的输出层中使用。该函数将大的负数换成0，将大的正数换成1. 数学公式及图形: