梯度累積:參考數據并行的方式，梯度累積簡單理解是把并行的數據替換成串行的數據傳入，可以在顯卡數量有限的情況下使用，還沒有了解是否影響收斂速度。

具體實現(xiàn)：

正常訓練過程：

outputs = model(data_batch) loss = loss_function(outputs, labels)optimizer.zero_grad() loss.backward() optimizer.step()

梯度累積：

accumulation_steps = 4outputs = model(data_batch) loss = loss_function(outputs, labels)# 2.1 loss regularization loss正則化 loss += loss / accumulation_steps# 2.2 backward propagation 反向傳播計算梯度 loss.backward()# 3. update parameters of net if ((i+1) % accumulation)==0:# optimizer the netoptimizer.step()optimizer.zero_grad() # reset grdient

學習率可能要增大一些；batchnorm可能需要替換為groupnorm,由于梯度累積的訓練batch與測試batch均值方差不同。

在不同框架實現(xiàn)中有所區(qū)別，torch需要梯度清空，mxnet計算梯度有兩個參數，’write'和‘add'，

'write'是默認參數，默認寫入新梯度，無需pytorch中每次調用optimizer.zero_grad()；

'add'表示梯度累積,梯度將在每次backward()時增加到已有數據中。

mxnet梯度累積可參考：

通過手動梯度累加方式：acc_grad[:] += parameter.grad()

https://github.com/szhengac/Grad_Accumulation/blob/master/gpu/train.py

通過設置'add‘梯度計算方式，在bind()中 grad_req設置為’add'，默認‘write',具體查看executor_group.py，這時需要在參數更新后手動梯度清零。

這兩種方式，是mxnet實現(xiàn)梯度累積的方式，具體還沒有實現(xiàn)。

總結

以上是生活随笔為你收集整理的【显存不足解决方法】梯度累积的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。