上個博客最后面寫到了，pipeline的簡單使用以及參數(shù)的配置含義：https://blog.csdn.net/wei18791957243/article/details/86157707

?

1.從pipeline的字典形式可以看出來，pipeline可以有多個，而且確實(shí)pipeline能夠定義多個

? ??

2. 有多個爬蟲，pipeline是怎樣處理的呢？

? ??首先創(chuàng)建三個爬蟲 ： 例如： 在一個scrapy的項(xiàng)目里面爬取三個網(wǎng)站： 今日頭條、新浪、豆瓣

? ? ?在cmd里面分別創(chuàng)建三個爬蟲：

? ??

? 然后打開pycharm查看：

? ?? ? ? ? ? ? ? ? 就會看見有三個爬蟲

（1）使用pipeline處理的第一個方式可以給item加上鍵和響應(yīng)的值：

? ? ? ?分別再相對的爬蟲py里面，的parse方法里面加上相應(yīng)的鍵和值

"""對應(yīng)的toutiao.py""" def parse(self, response):item = {}item["come_from"] = "toutiao"pass"""對應(yīng)的sina.py""" def parse(self, response):item = {}item["come_from"] = "sina"pass"""對應(yīng)的douban.py""" def parse(self, response):item = {}item["come_from"] = "douban"pass

? ? ? ?然后pipelines.py? 在?process_item方法里面可以對值進(jìn)行相應(yīng)的操作，分別進(jìn)行判斷

class PipelinetestPipeline(object):def process_item(self, item, spider):if item["come_from"] == "toutiao":passelif item["come_from"] == "sina":passelse:passreturn item 也可以寫多個類的形式進(jìn)行： class PipelinetestPipeline(object):def process_item(self, item, spider):if item["come_from"] == "toutiao":passreturn itemclass PipelinetestPipeline2(object):def process_item(self, item, spider):if item["come_from"] == "sina":passreturn itemclass PipelinetestPipeline3(object):def process_item(self, item, spider):if item["come_from"] == "douban":pass

（2） 除了給item加上鍵和值，還有第二方式，??spider.name 來進(jìn)行判斷，就不用給item加鍵和值

class PipelinetestPipeline(object):def process_item(self, item, spider):if spider.name == "toutiao":passelif spider.name == "sina":passelse:passreturn item

? 每個爬蟲的類里面都有對應(yīng)的name屬性，也就是對應(yīng)的每個爬蟲的名字，所以可以利用這個屬性來進(jìn)行判斷

? 然后在pipeline里面進(jìn)行相應(yīng)的處理

3.? 對有多個爬蟲時，pipeline通過上面的中方式進(jìn)行處理，

? ?一種方式是給item加上鍵和值，一種方式是里面name屬性

? 分別對值或者爬蟲的名字進(jìn)行判斷，進(jìn)而對數(shù)據(jù)進(jìn)行處理

總結(jié)

以上是生活随笔為你收集整理的Scrapy框架的学习(3.pipeline介绍以及多个爬虫的pipeline的使用)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。