pytorch加载的模型测试的结果和保存时测试的结果不一致
生活随笔
收集整理的這篇文章主要介紹了
pytorch加载的模型测试的结果和保存时测试的结果不一致
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
假設有一個dropout網絡net,訓練過程中用測試集進行了測試,接著將該網絡進行了保存
torch.save(net.state_dict(), path)然后將保存的網絡加載出來:
net=class_net() # 先定義net的結構 net.load_state_dict(torch.load(path))接著用同樣的測試集進行測試,發現測試結果和保存時的結果不一致,這是因為dropout網絡會對神經元進行隨機失活,因此測試結果也會不一致。解決方法是在測試函數eval()中設置隨機種子:
torch.manual_seed(42) if self.cuda:torch.cuda.manual_seed(42)注意一點,不能在dropout網絡的訓練函數/前向傳播函數forward()中設置隨機種子,否則每次前向傳播失活的神經元都是一樣的,失去了dropout的隨機性。而在測試函數eval()中設置隨機種子并不影響網絡的訓練,因為eval()函數不包含網絡的訓練過程。
總結
以上是生活随笔為你收集整理的pytorch加载的模型测试的结果和保存时测试的结果不一致的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: LaTeX常见文件类型
- 下一篇: pytorch自定义卷积核权值参数