神经网络算法是一门重要的机器学习技术。它是目前最为火热的研究方向——深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法，同时也可以更好地帮助你理解深度学习技术。

人工神经网络早期的研究工作应追溯至上世纪40年代，而1945年冯.诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。计算机科学家研究这一问题的目的在于寻求新的途径以解决不能解决或解决起来有极大困难的大量问题，构造更加逼近人脑功能的新一代计算机。

它的发展历程经历了三个阶段：上世纪50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践，形成了第一次研究热潮；然而，这次人工神经网络的研究高潮未能持续很久，因为当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，人们重新认识到神经网络的威力以及付诸应用的现实性。随即，形成了80年代中期以来人工神经网络的研究热潮。

人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。

这是一个包含三个层次的神经网络。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。