Scrapy Engine(引擎）：負(fù)責(zé)Spider、ltemPipeline、Downloader、Scheduler中間的通訊，信號(hào)\數(shù)據(jù)傳遞等。
Scheduler(調(diào)度器）：它負(fù)責(zé)接受引擎發(fā)送過(guò)來(lái)的Request請(qǐng)求，并按照一定的方式進(jìn)行整理排列，入隊(duì)，當(dāng)引擎需要時(shí)，交還給引擎。
Downloader(下載器）：負(fù)責(zé)下載Scrapy Engine(引擎）發(fā)送的所有Request請(qǐng)求，并將其獲取到的
Responses交還給Scrapy Engine(引擎）發(fā)送的所有resquests請(qǐng)求，并將其獲取到的Responses交還給Scrapy Engine(引擎），由引擎交給Spider來(lái)處理。
Spider(爬蟲）：它負(fù)責(zé)處理所有Response,從中分析提取數(shù)據(jù)，獲取Item字段需要的
數(shù)據(jù)，并將需要跟進(jìn)的Url提交給引擎，再次進(jìn)入Scheduler(調(diào)度器）。
ItemPipeline(管道）：它負(fù)責(zé)處理Spider中獲取到的Item,并進(jìn)行后期（詳細(xì)分析、過(guò)濾、存儲(chǔ)等）的地方。
Downloader Middlewares(下載中間件):你可以當(dāng)作是一個(gè)可以自定義擴(kuò)展下載功能的組件。
Spider Middleware(Spider中間件):你可以理解為是一個(gè)可以自定擴(kuò)展和操作引擎和Spider中間通信的功能組件(比如進(jìn)入Spider的Responses;和Spider出去的Resquests.

總結(jié)

以上是生活随笔為你收集整理的scrapy框架结构的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。