查看特定layer的權重以及相應的梯度信息

• 打印模型
  
• 觀察到model下面有module的key，module下面有features的key， features下面有(0)的key，這樣就可以直接打印出weight了
• 在pdb debug界面輸入p model.module.features[0].weight，就可以看到weight，輸入 p model.module.features[0].weight.grad 就可以查看梯度信息。

中間變量的梯度 : .register_hook

• pytorch 為了節省顯存，在反向傳播的過程中只針對計算圖中的葉子結點(leaf variable)保留了梯度值(gradient)。但對于開發者來說，有時我們希望探測某些中間變量(intermediate variable) 的梯度來驗證我們的實現是否有誤，這個過程就需要用到 tensor的register_hook接口

grads = {}def save_grad(name):def hook(grad):grads[name] = gradreturn hookx = torch.randn(1, requires_grad=True) y = 3*x z = y * y# 為中間變量注冊梯度保存接口，存儲梯度時名字為 y。 y.register_hook(save_grad('y'))# 反向傳播 z.backward()# 查看 y 的梯度值 print(grads['y'])

打印網絡回傳梯度

• net.named_parameters()
• parms.requires_grad 表示該參數是否可學習，是不是frozen的；
• parm.grad 打印該參數的梯度值。

net = your_network().cuda() def train():...outputs = net(inputs)loss = criterion(outputs, targets)loss.backward()for name, parms in net.named_parameters(): print('-->name:', name, '-->grad_requirs:',parms.requires_grad, \' -->grad_value:',parms.grad)

查看pytorch產生的梯度

[x.grad for x in self.optimizer.param_groups[0]['params']]

資料

• pytorch查看模型weight與grad
• pytorch 查看中間變量的梯度
• pytorch 打印網絡回傳梯度
• 如何查看pytorch產生的梯度

總結

以上是生活随笔為你收集整理的pytorch 权重weight 与 梯度grad 可视化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。