自适应梯度算法（Adaptive gradient algorithm，Adagrad）与传统的误差反向传播算法不同的地方在于在该算法中使用累计平方梯度代替迭代过程中每一次计算的梯度值。 反向传播算法及梯度原理参考： 神经网络之反向传播算法（梯度、误差反向传播算法BP）

假设对某个参数计算的梯度值为g，则自适应梯度算法需要通过下述公式计算出其梯度值的累积平方：

其中r的初始值为0。 之后通过累积平方对每次更新中的学习率进行调整，并使用更新后的学习率计算出参数的更新值。更新值的计算公式如下：

在上述公式中，μ为全局学习率，δ为避免分母为0而设置的极小值。 由前面的梯度值计算的相关原理可以得知，参数每次迭代更新的梯度与数据特征的稀疏性关联较大，当数据特征较为稀疏时，参数每次更新的梯度相对较小，此时累计梯度将长时间处于一个较小值，使得学习率的下降速度也会较慢，因此对参数的更新值会随之变大；当数据特征较为稠密时，参数每次更新的梯度相对较大，那么累计梯度将会较大，使得学习率加快下降速度，因此更新值会随之降低。由此带来的最直接的效果就是使得参数的调整速度随之加快进而使得神经网络的训练速度随之加快。 将自适应梯度算法应用于神经网络反向传播过程时的算法步骤如下：

参数初始化方法参考： 神经网络基础知识之参数初始化

以数据预测为例，下面介绍自适应梯度算法的实现过程，将自适应梯度算法应用于普通的三层神经网络（输入层、隐含层、输出层）的反向传播过程。 选用某省市的表层土壤重金属元素数据集作为实验数据，该数据集总共96组，随机选择其中的24组作为测试数据集，72组作为训练数据集。选取重金属Ti的含量作为待预测的输出特征，选取重金属Co、Cr、Mg、Pb作为模型的输入特征。