之前一直不理解为什么要在神经网络中引入非线性的激活函数（虽然理解为什么只有线性不行，但不理解为什么有了非线性就行了，不知道有没有和我一样的小伙伴），最近重温“李宏毅”深度学习时，恍然大悟。

参考视频：【機器學習2021】預測本頻道觀看人數 (下) - 深度學習基本概念簡介：大约看前10分钟就可以明白

如果不方便看坐飞机的同学，可以看我下面的整理

众数周知：机器学习的过程为：先假设出一个函数 f f f，然后通过训练样本学习出函数 f f f 的参数。

假设我们现在要使用神经网络模拟如图所示的一个函数：

这个是一个分段函数：

y = { 0 if    x < 0 2 x if     0 ≤ x < 2 − x + 6 if     2 ≤ x < 4 2 if     x ≥ 4 y = \begin{cases} 0 &\text{if ~~} x