Python爬蟲介紹

1、什么是爬蟲？

網絡爬蟲也叫網絡蜘蛛，如果把互聯網比喻成一個蜘蛛網，那么蜘蛛就是在網上爬來爬去的蜘蛛，爬蟲程序通過請求url地址，根據響應的內容進行解析采集數據， 比如：如果響應內容是html，分析dom結構，進行dom解析、或者正則匹配，如果響應內容是xml/json數據，就可以轉數據對象，然后對數據進行解析。

2、有什么作用？

通過有效的爬蟲手段批量采集數據，可以降低人工成本，提高有效數據量，給予運營/銷售的數據支撐，加快產品發展。

3、業界的情況

目前互聯網產品競爭激烈，業界大部分都會使用爬蟲技術對競品產品的數據進行挖掘、采集、大數據分析，這是必備手段，并且很多公司都設立了爬蟲工程師的崗位

4、合法性

爬蟲是利用程序進行批量爬取網頁上的公開信息，也就是前端顯示的數據信息。因為信息是完全公開的，所以是合法的。其實就像瀏覽器一樣，瀏覽器解析響應內容并渲染為頁面，而爬蟲解析響應內容采集想要的數據進行存儲。

5、反爬蟲

爬蟲很難完全的制止，道高一尺魔高一丈，這是一場沒有硝煙的戰爭，碼農VS碼農
反爬蟲一些手段：

• 合法檢測：請求校驗(useragent，referer，接口加簽名，等)
• 小黑屋：IP/用戶限制請求頻率，或者直接攔截
• 投毒：反爬蟲高境界可以不用攔截，攔截是一時的，投毒返回虛假數據，可以誤導競品決策

6、選擇一門語言

• 爬蟲可以用各種語言寫, C++, Java都可以, 為什么要Python?

首先用C++搞網絡開發的例子不多(可能是我見得太少) 然后由于Oracle收購了Sun, Java目前雖然在Android開發上很重要, 但是如果Google官司進展不順利, 那么很有可能用Go語言替代掉Java來做Android開發. 在這計算機速度高速增長的年代里, 選語言都要看他爹的業績, 真是稍不注意就落后于時代. 隨著計算機速度的高速發展, 某種語言開發的軟件運行的時間復雜度的常數系數已經不像以前那么重要, 我們可以越來越偏愛為程序員打造的而不是為計算機打造的語言. 比如Ruby這種傳說中的純種而又飄逸的的OOP語言, 或者Python這種稍嚴謹而流行庫又非常多的語言, 都大大弱化了針對計算機運行速度而打造的特性, 強化了為程序員容易思考而打造的特性. 所以我選擇Python

7、 選擇Python版本

有2和3兩個版本, 3比較新, 聽說改動大. 根據我在知乎上搜集的觀點來看, 我還是傾向于使用”在趨勢中將會越來越火”的版本, 而非”目前已經很穩定而且很成熟”的版本. 這是個人喜好, 而且預測不一定準確. 但是如果Python3無法像Python2那么火, 那么整個Python語言就不可避免的隨著時間的推移越來越落后, 因此我想其實選哪個的最壞風險都一樣, 但是最好回報卻是Python3的大. 其實兩者區別也可以說大也可以說不大, 最終都不是什么大問題.

8、爬蟲基本套路

1.基本流程

• 目標數據
• 來源地址
• 結構分析
• 實現構思
• 操刀編碼

2.基本手段

• 破解請求限制
  。請求頭設置，如：useragant為有效客戶端
  。控制請求頻率(根據實際情景)
  。IP代理
  。簽名/加密參數從html/cookie/js分析
• 破解登錄授權
  。請求帶上用戶cookie信息
• 破解驗證碼
  。簡單的驗證碼可以使用識圖讀驗證碼第三方庫
• 解析數據
  。HTML Dom解析
  。正則匹配，通過的正則表達式來匹配想要爬取的數據，如：有些數據不是在html 標簽里，而是在html的script 標簽的js變量中
  。使用第三方庫解析html dom，比較喜歡類jquery的庫
• 數據字符串
  。正則匹配(根據情景使用)
  。轉 JSON/XML 對象進行解析

9、python爬蟲

• python寫爬蟲的優勢
  。python語法易學，容易上手
  。社區活躍，實現方案多可參考
  。各種功能包豐富
  。少量代碼即可完成強大功能
• 涉及模塊包
  。請求
  urllib
  requests
  。多線程
  threading
  。正則
  re
  。json解析
  json
  。html dom解析
  beautiful soup
  。lxml
  xpath
  。操作瀏覽器
  selenium

總結

以上是生活随笔為你收集整理的Python爬虫介绍的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。