python3多線程爬蟲中GIL執行效率怎么樣

這篇文章將為大家詳細講解有關python3多線程爬蟲中GIL執行效率怎么樣，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

GIL的全稱是Global Interpreter Lock(全局解釋器鎖)，來源是python設計之初的考慮，為了數據安全所做的決定。某個線程想要執行，必須先拿到GIL，我們可以把GIL看作是“通行證”，并且在一個python進程中，GIL只有一個。拿不到通行證的線程，就不允許進入CPU執行。GIL只在cpython中才有，因為cpython調用的是c語言的原生線程，所以他不能直接操作cpu，只能利用GIL保證同一時間只能有一個線程拿到數據。而在pypy和jpython中是沒有GIL的。

在多線程環境中，Python虛擬機按照以下方式執行。

1. 設置GIL。

 2.切換到一個線程去執行。

3.運行

4.把線程設置為睡眠狀態。

5.解鎖GIL。

6.再次重復以上步驟。

python針對不同類型的代碼執行效率也是不同的：

1、CPU密集型代碼(各種循環處理、計算等等)，在這種情況下，由于計算工作多，ticks計數很快就會達到閾值，然后觸發GIL的釋放與再競爭（多個線程來回切換當然是需要消耗資源的），所以python下的多線程對CPU密集型代碼并不友好。 2、IO密集型代碼(文件處理、網絡爬蟲等涉及文件讀寫的操作)，多線程能夠有效提升效率(單線程下有IO操作會進行IO等待，造成不必要的時間浪費，而開啟多線程能在線程A等待時，自動切換到線程B，可以不浪費CPU的資源，從而能提升程序執行效率)。所以python的多線程對IO密集型代碼比較友好。 

使用建議？

python下想要充分利用多核CPU，就用多進程。因為每個進程有各自獨立的GIL，互不干擾，這樣就可以真正意義上的并行執行，在python中，多進程的執行效率優于多線程(僅僅針對多核CPU而言)。

GIL在python中的版本差異：

1、在python2.x里，GIL的釋放邏輯是當前線程遇見IO操作或者ticks計數達到100時進行釋放。（ticks可以看作是python自身的一個計數器，專門做用于GIL，每次釋放后歸零，這個計數可以通過sys.setcheckinterval 來調整）。而每次釋放GIL鎖，線程進行鎖競爭、切換線程，會消耗資源。并且由于GIL鎖存在，python里一個進程永遠只能同時執行一個線程(拿到GIL的線程才能執行)，這就是為什么在多核CPU上，python的多線程效率并不高。 2、在python3.x中，GIL不使用ticks計數，改為使用計時器（執行時間達到閾值后，當前線程釋放GIL），這樣對CPU密集型程序更加友好，但依然沒有解決GIL導致的同一時間只能執行一個線程的問題，所以效率依然不盡如人意。

有了這把GIL的鑰匙，我們就不用了擔心在多線程運行的時候可能出現的錯亂現象。而且值得要再提一句的是，GIL在python2和3中是不同的，這點小伙伴們可要記住了哦~

關于python3多線程爬蟲中GIL執行效率怎么樣就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。