学习率 (learning rate),作为监督学习以及深度学习中重要的超参，它控制网络模型的学习进度,决定这网络能否成功或者需要多久成功找到全局最小值，从而得到全局最优解，也就是最优参数。换句话说学习率和stride(步长)性质差不多。

首先我们要认识到学习率过大，自然第一反应就是学习的速度或者说忽略了某些阶段直接学到了下一个阶段的东西，这对于计算机来说是不可取的，特别是用于神经网络之中。这就好比在网络模型中我们所需要的最佳的值是50，如果我们学习率正好设置的是50，初始值为0，那么我们可以一步到位，若是设置的是10，多走几步依然可到，但是如果设置的是100，那我们就会直接跳过了50，也就是说忽略了最佳的结果。 那么学习率设置太大会造成网络不能收敛，在最优值附近徘徊，也就是说直接跳过最低的地方跳到对称轴另一边，从而忽视了找到最优值的位置。如下图

如果学习率设置太小，网络收敛非常缓慢，会增大找到最优值的时间，也就是说从山坡上像蜗牛一样慢慢地爬下去。虽然设置非常小的学习率是可以到达，但是这很可能会进入局部极值点就收敛，没有真正找到的最优解，换句话说就是它步长太小，跨不出这个坑。

在训练过程中，一般根据训练轮数设置动态变化的学习率。

刚开始训练时：学习率以 0.01 ~ 0.001 为宜。 一定轮数过后：逐渐减缓。 接近训练结束：学习速率的衰减应该在100倍以上。 如果是 迁移学习 ，由于模型已在原始数据上收敛，此时应设置较小学习率 (≤0.0001) 在新数据上进行微调 。

方法二中tensorflow对应API:

staircase=True 参数是说 global_steps/decay_steps 取整更新，也就是能做到每隔decay_steps学习率更新一次。