inplace=True (原地操作) |
您所在的位置:网站首页 › 结果为False是什么意思 › inplace=True (原地操作) |
Pytorch的很多地方有inplace这个参数,最近遇到的是nn.ReLU(inplace=True)。还有torch.sigmoid_等 inplace默认是False inplace的含义是是否进行覆盖运算。即改变一个tensor的值的时候,不经过复制操作,而是直接在原来的内存上改变它的值 比如: x = x +1即对原值进行操作,然后将得到的值又直接复制到该值中 而不是覆盖运算的例子如: y = x + 1 x = y这样就需要花费内存去多存储一个变量y 所以 nn.Conv2d(3, 64, kernel_size=11, stride=4, padding=2), nn.ReLU(inplace=True)的意思就是对从上层网络Conv2d中传递下来的tensor直接进行修改,这样能够节省运算内存,不用多存储其他变量 注: 产生的计算结果不会有影响。利用inplace计算可以节省内(显)存,同时还可以省去反复申请和释放内存的时间。但是会对原变量覆盖,只要不带来错误就用。 inplace操作其实inplace操作的概念会更宽泛,很多在原变量上修改的函数如detach_(), require_grad_()都属于inplace操作 inplace=True需要注意的问题Pytorch对于inplace操作本身会有一个正确性检查。如果pytorch检测到variable在一个Function中已经被保存用来backward,但是之后它又被in-place operations修改。当这种情况发生时,在backward的时候,pytorch就会报错。这种机制保证了,如果你用了in-place operations,但是在backward过程中没有报错,那么梯度的计算就是正确的。 所以如果没报错,就可以放心使用 pytorch .detach() .detach_() 和 .data用于切断反向传播 - 慢行厚积 - 博客园 现在在网上可以看到两种说法,一是inplace=True可以节约显存,应该使用;二是inpalce=True可能会影响训练的时候的梯度传递最好不要用。那到底是怎样的呢? inplace操作更加节省内存,但是如果该内存可能被其他变量引用,可能导致计算一致性的问题,存在后效性。考虑到Pytorch中的F.relu函数或者nn.ReLU(inplace=True)层,在使用原地操作前,我们要确定其是贯序(Sequential)结构,而不会存在被其他变量引用的情况 错误使用的例子 例如我们想实现这样一个pipeline 这样做就是有问题的。因为在x1在经过my_relu之后,其值经过改变,现在其值相当于h 所以 y = my_conv2(x1)在这里,其实相当于y=my_conv2(h) 这样得到的结果就不是我们预期的了。这种情况在多分支(Multi-branch)的网络中很常出现。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |