PyTorch線程池泄露Leaking Caffe2 thread-pool after fork

這兩天跑模型，換了新環(huán)境，在實(shí)驗(yàn)室服務(wù)器上跑，由于cpu很猛（線程撕裂者3975wx，32核64線程），索性我就干脆設(shè)置num_workers = 10，這樣做數(shù)據(jù)增強(qiáng)確實(shí)快很多，而且cpu占用率也才25%（這cpu真滴猛）。于是乎訓(xùn)練過程，出現(xiàn)了警告，數(shù)量為設(shè)置的線程數(shù)量：

[W pthreadpool-cpp.cc:90] Warning: Leaking Caffe2 thread-pool after fork. (function pthreadpool)

如果把線程數(shù)改小一些，就不會有警告了，但是會影響運(yùn)行速度，所以可以當(dāng)作不存在。PyTorch版本1.10之后就會修復(fù)了，問題不大。

參考：

https://blog.csdn.net/qq_41963227/article/details/119391566

總結(jié)

以上是生活随笔為你收集整理的PyTorch线程池泄露Leaking Caffe2 thread-pool after fork的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。