這是我Python培訓的內容，使用Pyspider框架爬取Scrapy文檔

@Author：xinlan

pyspider框架

一、pyspider框架介紹

1.簡介

pyspider 是個強大的由python實現的爬蟲系統。

• 純python的
• 強大的webui，支持腳本編輯，任務監控，項目管理和結果查看
• 數據后臺支持，MySQL，MongoDB,Reids,SQLite,Elasticsearch,PostgreSQL和SQLAlchemy
• 消息隊列支持，RabbitMQ，Beanstalk，Redis以及Kombu
• 支持任務優先級，定時，失敗重試等調度方案
• 分布式架構，抓取js頁面
• 支持Python2和3

2.安裝

pip install pyspider

ubuntu

如果使用ubuntu,請先運行sudo apt update 再運行sudo apt upgrade 更新

apt-get install python python-dev python-distribute python-pip \ libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml \ libssl-dev zlib1g-dev

刪除wsgidav

總結

以上是生活随笔為你收集整理的三十、Pyspider爬虫框架总结，爬取Scrapy文档的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。