@Author：Runsen

文章目錄

• Pyspider框架介紹
• Pyspider框架安裝
• pypsider入門
• 爬取目標（鏈家網）

Pyspider框架介紹

Pyspider 是個強大的由python實現的爬蟲系統。

• 純python的
• 強大的webui，支持腳本編輯，任務監控，項目管理和結果查看
• 數據后臺支持，MySQL，MongoDB,Reids,SQLite,Elasticsearch,PostgreSQL和SQLAlchemy
• 消息隊列支持，RabbitMQ，Beanstalk，Redis以及Kombu
• 支持任務優先級，定時，失敗重試等調度方案
• 分布式架構，抓取js頁面
• 支持Python2和3

Pyspider框架安裝

• ubuntu

如果使用ubuntu,請先運行sudo apt update 再運行sudo apt upgrade 更新

apt-get install python python-dev python-distribute python-pip \ libcurl4-openssl-dev libxml2-dev

總結

以上是生活随笔為你收集整理的二十八、Pyspider 爬取链家网的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。