我是小玉，一个平平无奇的数据小天才！

最近在回顾神经网络这里知识，发现自己还是有很多知识点掌握不够清楚明了，既然开始搞就要搞得明明白白，会了神经网络等于掌握了大半个机器学习。

跟大家分享一下我在看这里时候遇到的一些常见问题，神经网络不同于传统的机器学习方法，它由于更多的性质在机器学习领域得到了大量应用。但是想要真的弄清楚神经网络还需要下下功夫。

我们在学习神经网络的时候必不可免的会听到一个词叫做激活函数，这个东西就是对于神经网络来说，起了很大的作用，为神经网络添加了更多的非线性因素，举个例子：

上图是这是一个简单的线性分类问题，正常情况下我们只需要一条直线就可以很好地分类。

但是当我们碰到下图问题时，无法通过一条直线将样本分类出来，需要我们加入非线性因素才可以将样本分类好，而我们的激活函数就是我们要加入的非线性因素：

我们在深入理解激活函数的时候需要先知道什么是硬饱和什么是软饱和！

假设h（x）是一个激活函数。

1.当我们的n趋近于正无穷，激活函数的导数趋近于0，那么我们称之为右饱和。