Scrapy框架使用感受

使用一個框架最理想的狀況是:

懂得其原理

看得懂日志

精通其配置

這樣的框架就是很好用，用最好的代碼做更多的事情，爬蟲也就是一個工具而已，所以很多事情都可以通過框架來做，原本我通過java以及c++都寫過爬蟲，使用了scrapy后，發(fā)現(xiàn)那些都太弱了，順帶我總結(jié)了一下中小型爬蟲系統(tǒng)都需要考慮的方面。
scrapy雖然已經(jīng)很強(qiáng)大，但是在中斷處理方面并沒有給出好的方案，還需要開發(fā)者自己去實現(xiàn)，希望以后的版本可以支持到，我主要是java開發(fā)出生，否則我也可以為開源做一點貢獻(xiàn)。

總結(jié)

以上是生活随笔為你收集整理的Scrapy 西瓜皮框架的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。