自2011年以来，深度卷积神经网络（CNN）在图像分类的工作中的表现就明显优于人类，它们已经成为在计算机视觉领域的一种标准，如图像分割，对象检测，场景标记，跟踪，文本检测等。

但，想要熟练掌握训练神经网络的能力并不是那么容易。与先前的机器学习思维一样，细节决定成败。但是，训练神经网络有更多的细节需要处理。你的数据和硬件有什么限制？你应该是从何种网络开始？你应该建立多少与卷积层相对的密集层？你的激励函数怎样去设置？即使你使用了最流行的激活函数，你也必须要用常规激活函数。

学习速率是调整神经网络训练最重要的超参数，也是最难优化的参数之一。太小，你可能永远不会得到一个解决方案；太大，你可能刚好错过最优解。如果用自适应的学习速率的方法，这就意味着你要花很多钱在硬件资源上，以此来满足对计算的需求。

设计选择和超参数的设置极大地影响了CNN的训练和性能，但对于深度学习领域新进入者来说，设计架构直觉的培养可能就需要资源的稀缺性和分散性。

《神经网络：权衡技巧》是一本主要着重于实际调优的书，出版于2003年，并在2012年再版。而深度学习的火爆始于2012年《纽约时报》报道的Geoffrey Hinton 的团队在 Merck Drug Discovery Challenge 上的惊人成功。然而，最近几年最先进的研究成果却消失了。

幸运的是，美国海军研究室的研究员 Leslie Smith发表了关于CNN架构改进和技术提升的系统性研究。下面是他所强调的最重要的一些设计模式