经常有小伙伴遇到 OOM 报错以后来问 Dave 怎么办，如果遭受下面这些报错困扰那就是了。

内存溢出(Out-Of-Memory) 是计算机操作中的一种通常不希望遇到的状态，在这种状态下，无法分配额外的内存以供程序使用。这样状态下的系统将无法加载任何其他程序，并且由于许多程序可能在执行期间将额外的数据加载到内存中，因此这些程序将停止正常运行。

在神经网络的训练中，经常会出现图像尺寸很大又想增大batch size，无奈显存不足，但是大显存的 A6000 又挺贵的💰，那怎么办呢？

人民币小伙伴：没事，我有💰啊？

Dave：冒犯了冒犯了。。。

因为 Dave 家境贫寒，所以经常想用 GTX 3080 跑出 GTX 3090 的效果，除了之前 Dave 介绍过的 半精度训练以外 还有一个方法一直在用，推荐给小伙伴们 —— 梯度累加（积）