关于 scrapy 的 pipeline 和 items 问题
生活随笔
收集整理的這篇文章主要介紹了
关于 scrapy 的 pipeline 和 items 问题
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
對于這種多個爬蟲在一個工程里的,需要不同爬蟲在 pipeline 里使用不同邏輯的問題 scrapy 的作者是這么解釋的。去看看
可以的 pipelines的process_item有個spider參數,可以篩選相應的spider走這個pipeline
你可以在 pipeline 里判斷是哪個爬蟲的結果:
可以的 pipelines的process_item有個spider參數,可以篩選相應的spider走這個pipeline
你可以在 pipeline 里判斷是哪個爬蟲的結果:
總結
以上是生活随笔為你收集整理的关于 scrapy 的 pipeline 和 items 问题的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 打游戏费脑子吗
- 下一篇: 双积分参加革命工作时间1941年七月参加