1、爬蟲是什么

? ? ? ? 網絡爬蟲本質上就是一個程序 或者 腳本, 網絡爬蟲按照一定規則獲取互聯網中信息(數據), 一般來說爬蟲被分為三大模塊: 獲取數據 解析數據 保存數據?

2、爬蟲的價值

爬蟲的價值本質就是獲取數據的價值. 數據的價值越高, 爬蟲的價值越高

• 數據的價值: 一切皆為數據
• 例如: 獲取到了大量的用戶信息(基本信息, 購物信息, 瀏覽信息):
  • 廣告推薦 用戶行為分析(用戶畫像)
• 例如: 獲取到了大量的商品的信息(基本信息, 價格):
  • 比價網

?

3、爬蟲的分類

常見分類有兩種:

• 通用爬蟲: 指的獲取互聯網中所有的數據, 不局限于網站, 行業, 分類
• 百度 谷歌
• 垂直爬蟲: 指的獲取互聯網中某一個網站, 某一個行業, 某一個分類下的數據
• 慢慢買 筆趣閣

實際開發中: 一般書寫那種爬蟲

? 垂直爬蟲(數據分析處理)

4、爬蟲的開發流程

爬蟲的執行流程:

• 確定首頁URL
• 發送請求, 獲取數據
• 解析數據
• 保存數據

?

?

?

總結

以上是生活随笔為你收集整理的爬虫 spider01——基本概念的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。