最近在看Python的多線程，經(jīng)常我們會聽到老手說：“Python下多線程是雞肋，推薦使用多進程！”，但是為什么這么說呢？? ?? ???

? ?? ???
要知其然，更要知其所以然。所以有了下面的深入研究：? ?? ???
? ?? ???

首先強調(diào)背景：? ?? ???
1、GIL是什么？
GIL的全稱是Global Interpreter Lock(全局解釋器鎖)，來源是python設(shè)計之初的考慮，為了數(shù)據(jù)安全所做的決定。? ?? ???
2、每個CPU在同一時間只能執(zhí)行一個線程（在單核CPU下的多線程其實都只是并發(fā)，不是并行，并發(fā)和并行從宏觀上來講都是同時處理多路請求的概念。但并發(fā)和并行又有區(qū)別，并行是指兩個或者多個事件在同一時刻發(fā)生；而并發(fā)是指兩個或多個事件在同一時間間隔內(nèi)發(fā)生。）

在Python多線程下，每個線程的執(zhí)行方式：
1、獲取GIL
2、執(zhí)行代碼直到sleep或者是python虛擬機將其掛起。
3、釋放GIL? ?? ???
? ?? ???
可見，某個線程想要執(zhí)行，必須先拿到GIL，我們可以把GIL看作是“通行證”，并且在一個python進程中，GIL只有一個。拿不到通行證的線程，就不允許進入CPU執(zhí)行。? ?? ???
? ?? ???
在Python2.x里，GIL的釋放邏輯是當(dāng)前線程遇見IO操作或者ticks計數(shù)達到100（ticks可以看作是Python自身的一個計數(shù)器，專門做用于GIL，每次釋放后歸零，這個計數(shù)可以通過 sys.setcheckinterval 來調(diào)整），進行釋放。? ?? ???
? ?? ???
而每次釋放GIL鎖，線程進行鎖競爭、切換線程，會消耗資源。并且由于GIL鎖存在，python里一個進程永遠(yuǎn)只能同時執(zhí)行一個線程(拿到GIL的線程才能執(zhí)行)，這就是為什么在多核CPU上，python的多線程效率并不高。? ?? ???
? ?? ???? ?? ?? ?? ?? ?? ?? ?? ??
那么是不是python的多線程就完全沒用了呢？? ?? ???
在這里我們進行分類討論：? ?? ???
1、CPU密集型代碼(各種循環(huán)處理、計數(shù)等等)，在這種情況下，由于計算工作多，ticks計數(shù)很快就會達到閾值，然后觸發(fā)GIL的釋放與再競爭（多個線程來回切換當(dāng)然是需要消耗資源的），所以python下的多線程對CPU密集型代碼并不友好。? ?? ???

2、IO密集型代碼(文件處理、網(wǎng)絡(luò)爬蟲等)，多線程能夠有效提升效率(單線程下有IO操作會進行IO等待，造成不必要的時間浪費，而開啟多線程能在線程A等待時，自動切換到線程B，可以不浪費CPU的資源，從而能提升程序執(zhí)行效率)。所以python的多線程對IO密集型代碼比較友好。? ?? ???
? ?? ???

而在python3.x中，GIL不使用ticks計數(shù)，改為使用計時器（執(zhí)行時間達到閾值后，當(dāng)前線程釋放GIL），這樣對CPU密集型程序更加友好，但依然沒有解決GIL導(dǎo)致的同一時間只能執(zhí)行一個線程的問題，所以效率依然不盡如人意。? ?? ???
? ?? ???? ?? ?? ?? ?? ??? ?? ???
請注意：多核多線程比單核多線程更差，原因是單核下多線程，每次釋放GIL，喚醒的那個線程都能獲取到GIL鎖，所以能夠無縫執(zhí)行，但多核下，CPU0釋放GIL后，其他CPU上的線程都會進行競爭，但GIL可能會馬上又被CPU0拿到，導(dǎo)致其他幾個CPU上被喚醒后的線程會醒著等待到切換時間后又進入待調(diào)度狀態(tài)，這樣會造成線程顛簸(thrashing)，導(dǎo)致效率更低
? ?? ???
? ?? ???? ?? ?? ?? ?? ?? ?? ?? ??
回到最開始的問題：經(jīng)常我們會聽到老手說：“python下想要充分利用多核CPU，就用多進程”，原因是什么呢？? ?? ???

原因是：每個進程有各自獨立的GIL，互不干擾，這樣就可以真正意義上的并行執(zhí)行，所以在python中，多進程的執(zhí)行效率優(yōu)于多線程(僅僅針對多核CPU而言)。??? ?? ?
? ?? ???? ?? ?? ?? ?? ??? ?? ???
所以在這里說結(jié)論：多核下，想做并行提升效率，比較通用的方法是使用多進程，能夠有效提高執(zhí)行效率? ? ? ?

轉(zhuǎn)載于:https://www.cnblogs.com/strive-man/p/8673489.html

總結(jié)

以上是生活随笔為你收集整理的为什么在Python里推荐使用多进程而不是多线程？（为什么python多线程无法增加CPU使用率？）...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。