Python面试题(三)(爬虫方面)
1.python語言的GIL機制介紹
GIL (Global Intercepto Lock)全局解釋器鎖
首先需要明確的一點是 GIL 并不是Python的特性,它是在實現Python解析器(CPython)時所引入的一個概念。
? 并行和并發同屬于多任務,目的是要提高CPU的使用效率。這里需要注意的是,一個CPU永遠不可能實現并行,即一個CPU不能同時運行多個程序,但是可以在隨機分配的時間片內交替執行(并發),就好像一個人不能同時看兩本書,但是卻能夠先看第一本書半分鐘,再看第二本書半分鐘,這樣來回切換。
??Guido van Rossum(吉多·范羅蘇姆)創建python時就只考慮到單核cpu,解決多線程之間數據完整性和狀態同步的最簡單方法自然就是加鎖, 于是有了GIL這把超級大鎖。因為cpython解析只允許擁有GIL全局解析器鎖才能運行程序,這樣就保證了保證同一個時刻只允許一個線程可以使用cpu。由于大量的程序開發者接收了這套機制,現在代碼量越來越多,已經不容易通過c代碼去解決這個問題。
? 每個線程在執行時候都需要先獲取GIL,保證同一時刻只有一個線程可以執行代碼,即同一時刻只有一個線程使用CPU,也就是說多線程并不是真正意義上的同時執行。
? 多線程如同客人要用包房里的廁所,一次只能一個人用。進去的人把門鎖住。用完釋放,下一個人接著用。
? 進程如同獨立包間,一個人一個包間,一個廁所夠了,不需要排隊,也就不需要鎖了。
2.如何解決GIL鎖的問題呢?
(1)更換cpython為jpython(不建議)
(2)使用多進程完成多線程的任務
(3)在使用多線程可以使用c語言去實現
3.什么時候會釋放GIL鎖?
? (1)遇到像 I/O 操作這種 會有時間空閑情況 造成cpu閑置的情況會釋放GIL
? (2)會有一個專門ticks進行計數 一旦ticks數值達到100 這個時候釋放Gil鎖 線程之間開始競? ? ? ? ?爭GIL鎖(ticks這個數值可以進行設置來延長或者縮減獲得GIL鎖的線程使用cpu的時間)
4.Python進程、線程以及協程區別與聯系以及應用場景
5.瀏覽器地址輸入網址按下回車鍵至響應返回期間發生了什么?
6.app常見反爬手段
7.通過tcp進行數據傳輸的抓包策略以及分析技巧
8.web常見指紋以及對應風控梳理
后面陸續更新
總結
以上是生活随笔為你收集整理的Python面试题(三)(爬虫方面)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python读取excel文件可读取xl
- 下一篇: Python面试题(四)