前言：

GPU基础知识

卷积神经网络参数

参数的显存占用

梯度与动量的显存占用

输入输出的显存占用

节省显存的方法

减少卷积层的计算量

常用模型 显存/计算复杂度/准确率

建议

在训练自己的模型时常常出现显存不足等问题，这个时候我们常用的方法就是调参。一般常用的方法有以下几点：

但是对于既定网络，我们减小训练图像大小或者改变batchsize大小都会影响模型的性能，这点在目标检测和语义分割中反应比较明显。那么我们要做的是在不改变网络性能的情况下，尽量的压缩模型，空出足够的显存进行GPU加速。

我们利用gpustat工具包可以看到关于GPU的相关信息:

pip install gpustat

直接即可安装，gpustat基于nvidia-smi，可以提供更美观简洁的展示，结合watch命令，可以动态实时监控GPU的使用情况。

watch --color -n1 gpustat -cpu

GPU计算单元类似于CPU中的核，用来进行数值计算。衡量计算量的单位是flop： the number of floating-point multiplication-adds，浮点数先乘后加算一个flop。计算能力越强大，速度越快。衡量计算能力的单位是flops： 每秒能执行的flop数量

在图像处理中，往往把图像表示为像素的向量，比如一个1000×1000的图像，可以表示为一个1000000的向量。如果隐含层数目与输入层一样，即也是1000000时，那么输入层到隐含层的参数数据为1000000×1000000=10^12，这样就太多了，基本没法训练。卷积神经网络通过CNN中的局部连接(Sparse Connectivity)和权值共享(Shared Weights)来减少参数。

神经网络模型占用的显存包括：

举例来说，对于如下图所示的一个全连接网络(不考虑偏置项b)

模型的显存占用包括：

输入X可以看成是上一层的输出，因此把它的显存占用归于上一层。

只有有参数的层，才会有显存占用。这部份的显存占用和输入无关，模型加载完成之后就会占用。

有参数的层主要包括：

无参数的层：

更具体的来说，模型的参数数目(这里均不考虑偏置项b)为：

参数占用显存 = 参数数目×n

n = 4 ：float32

n = 2 : float16

n = 8 : double64

在PyTorch中，当你执行完model=MyGreatModel().cuda()之后就会占用相应的显存，占用的显存大小基本与上述分析的显存差不多（会稍大一些，因为其它开销）。

举例来说， 优化器如果是SGD：

可以看出来，除了保存W之外还要保存对应的梯度，

因此显存占用等于参数占用的显存x2,

如果是带Momentum-SGD

这时候还需要保存动量， 因此显存x3

如果是Adam优化器，动量占用的显存更多，显存x4

总结一下，模型中与输入无关的显存占用包括：

这部份的显存主要看输出的feature map 的形状。

比如卷积的输入输出满足以下关系：

据此可以计算出每一层输出的Tensor的形状，然后就能计算出相应的显存占用。

模型输出的显存占用，总结如下：

深度学习中神经网络的显存占用，我们可以得到如下公式：

显存占用 = 模型显存占用 + batch_size × 每个样本的显存占用

可以看出显存不是和batch-size简单的成正比，尤其是模型自身比较复杂的情况下：比如全连接很大，Embedding层很大

另外需要注意：

今年谷歌提出的MobileNet，利用了一种被称为DepthWise Convolution的技术，将神经网络运行速度提升许多，它的核心思想就是把一个卷积操作拆分成两个相对简单的操作的组合。如图所示, 左边是原始卷积操作，右边是两个特殊而又简单的卷积操作的组合（上面类似于池化的操作，但是有权重，下面类似于全连接操作）。

                                          Depthwise Convolution

这种操作使得：

去年一篇论文(https://arxiv.org/abs/1605.07678)总结了当时常用模型的各项指标，横座标是计算复杂度（越往右越慢，越耗时），纵座标是准确率（越高越好），圆的面积是参数数量（不是显存占用），参数量越多，保存的模型文件越大。左上角我画了一个红色小圆，那是最理想的模型：快，准确率高，显存占用小。

尤其是batch-size，假定GPU处理单元已经充分利用的情况下：