【导读】近日，Vadim Smolyakov发表了一篇博客，针对当前神经网络的优化算法进行了总结，并利用简单的CNN网络在NMIST数据集上进行实验，探讨不同的优化方法的效果好坏。其中考虑了四种神经网络训练的优化方法：SGD，Nesterov Momentum，RMSProp和Adam，并用TensorFlow进行训练。作者最终得出结果：使用Nesterov Momentum和Adam的SGD产生的结果更好。如果您对神经网络的优化算法还不是很了解，那么相信这篇文章将会给您很好的启发！专知内容组编辑整理。

Neural Network Optimization Algorithms

——A comparison study based on TensorFlow

神经网络优化算法

训练神经网络的最流行的优化算法有哪些?怎么进行比较?

本文在MNIST数据集用卷积神经网络（CNN）进行实验，来回答上述优化问题。

▌随机梯度下降（SGD）

SGD通过数据的一个大小为（m）的子集（subset）或一个小批量（mini-batch）来从梯度负方向上更新模型参数（theta）：

神经网络由 f(x(i); theta)表示，其中x（i）是训练数据，y（i）是标签，损失函数L的梯度是根据模型参数θ计算的。学习率（eps_k）决定了算法沿着梯度（在最小化的情况下为负方向，在最大化的情况下为正方向）下降的步长大小。

学习率是非常重要的超参数。学习率太高（例如> 0.1）会导致参数的更新错过最佳值，学习率太低（例如