1.訓練過程中學習率衰減

if (self.e+1) > (self.num_epochs - self.num_epochs_decay):g_lr -= (self.g_lr / float(self.num_epochs_decay))d_lr -= (self.d_lr / float(self.num_epochs_decay))self.update_lr(g_lr, d_lr)print('Decay learning rate to g_lr: {}, d_lr:{}.'.format(g_lr, d_lr)) def update_lr(self, g_lr, d_lr):for param_group in self.g_optimizer.param_groups:param_group['lr'] = g_lrfor param_group in self.d_A_optimizer.param_groups:param_group['lr'] = d_lrfor param_group in self.d_B_optimizer.param_groups:param_group['lr'] = d_lr

總結

以上是生活随笔為你收集整理的Pytorch 各种模块：降低学习率，的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。