Pytorch中关于inplace的操作
作者：二十米
Pytorch中inplace操作
之前在写训练代码时，遇到了inplace operation导致的问题，所以就了解了一下pytorch的inplace operation，记录一下inplace操作的知识。
报错信息如下：
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation.
Inplace操作概述
稍微了解过python的人应该会知道python的变量名是一个类似索引的东西，其指向内存中的一个对象。
而对该变量重新赋值，实际上是将该变量名指向内存中的其它对象，原对象本身其实并未改变。而Inplace操作并非如此，该操作会直接改变原对象的内容，这样能减少内存的消耗，但也会带来一些隐患。
非inplace操作如下图所示，运算操作先是开辟了一块新的内存存放运算后的结果，然后再将引用指向新内存，而旧内存的内容保持不变。
而inplace操作则不同，运算操作会直接在旧内存上进行更改，而并不会另外开辟一个新内存进行运算结果的存放。
inplace操作的优缺点
要使用好inplace操作，首先肯定需要知道其存在的优点以及缺点。根据inplace操作的原理，其实不难发现其优点就在于节省内存，尤其是在处理高维数据时能显著减少额外的内存开销，这在训练神经网络时是很有价值的一个特性。
但在节省内存的同时，inplace操作也带来了一些隐患，pytorch的官方文档是这样说的：
- inplace操作可能会覆盖计算梯度所需的值。
- 每个inplace操作实际上都需要实现重写计算图。Out-of-place版本只是简单地分配新对象并保持对旧图的引用，而inplace操作则要求将所有输入的创建者更改为表示该操作的函数。
也就是说，在Autograd中支持inplace操作很困难，有时候会在不经意间导致自动求导失败，得到上文所提到的报错。同时，Autograd积极的缓冲区释放和重用使其非常高效，inplace操作实际上并不能降低太多内存的消耗，因此在大多数情况下不鼓励使用。除非在沉重的内存压力下运行，否则可能永远不需要使用inplace操作。
PS：如果你使用了inplace操作而没有报错的话，那么你可以确定你的梯度计算是正确的。但是，这仅仅表示Autograd计算梯度无误，如果出现了该内存被其他变量引用而未注意，依旧可能存在计算一致性的风险。
常见的inplace操作
inplace操作有优点也有缺点，但总体来说还是弊大于利，所以如果显存足够的话，还是尽量少用inplace操作。那inplace操作有哪些呢？
- 1.数值运算，如
x+=1属于inplace操作，会直接对x的值进行操作；而y=x+5则不属于inplace操作（PS：x+=1虽然是inplace操作，但求导时其导数为1，导数值并不与x的值相关，所以不会对反向传播产生影响，故这种情况的影响不大） - 2.pytorch提供的一些inplace选项，如
nn.ReLU(inplace=True)、nn.LeakyReLU(inplace=True)，这些选项的安全性要高一些，但也需要注意中间变量后续是否需要，如果后面还需要使用中间变量，就应当设置inplace=False - 3.具有 _ 后缀的方法，如
x.copy_(y)，x.t_()，将直接改变x。同时，一些常见的操作如x.add_(y)、x.mul_(y)也会直接改变x，除非有特定需求，否则不建议使用这类inplace操作，隐患比前两种情况高很多。
以上是常见的一些inplace操作，虽然不建议使用inplace操作，但还是需要了解一下，以免日后遇到问题。
注意：
inplace操作会直接修改原内存处的值，虽然会节省一些内存，但也会带来一些隐患，如自动求导出错等。因此如果不是内存十分紧缺，不建议使用inplace操作。
pytorch的inplace的问题
最近将一个模型训练代码从caffe平台移植到pytorch平台过程中遇到了一个诡异的inplace坑，特别记录一下防止大家掉坑。
relu等激活函数的inplace
看到官方的relu入参是中nn.ReLU(inplace=True)是inplace操作，我一想这不是能节省我的资源占用，毫不犹豫的选择了True。
搭好模型运行，结果是在backward计算导数的时候。表示inplace操作导致求导结果有问题。
改为**nn.ReLU(inplace=False)**问题在pytorch1.3和pytorch1.8解决了。
“+=”操作的默认inplace
后来因为换了pytorch1.10版本后又报错了。报错形式和上面一样。
后来查了一下“+=”也是inplace操作，将工程中网络的前向传播方式中：x += feature16改为：“x = x + feature16” 。
问题就消失了。
报错形式
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.HalfTensor [×，×，×，×]], which is output 0 of ReluBackward0, is at version 1; expected version 0 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。