@Author：Runsen

文章目錄

• 爬蟲項(xiàng)目結(jié)構(gòu)
• Scrapy默認(rèn)設(shè)置
• Scrapy深入下載中間件設(shè)置
• 導(dǎo)入配置from_crawler
• 代理設(shè)置

爬蟲項(xiàng)目結(jié)構(gòu)

建立完爬蟲項(xiàng)目之后，都會(huì)有如下的結(jié)構(gòu)：

其中，settings.py文件是存放配置文件用的，初始化的settings文件，只有以下四個(gè)變量是默認(rèn)定義好的，其他都是注釋掉的。現(xiàn)在從上往下，看下每個(gè)變量的含義。

Scrapy默認(rèn)設(shè)置

scrapy對某些內(nèi)部組件進(jìn)行了默認(rèn)設(shè)置，這些組件通常情況下是不能被修改的，但是我們在自定義了某些組件以后，比如我們設(shè)置了自定義的middleware中間件，需要按照一定的順序把他添加到組件之中，這個(gè)時(shí)候需要參考scrapy的默認(rèn)設(shè)置，因?yàn)檫@個(gè)順序會(huì)影響scrapy的執(zhí)行，下面列出了scrapy的默認(rèn)基礎(chǔ)設(shè)置

# settings.py中大部分配置的注釋：

總結(jié)

以上是生活随笔為你收集整理的三十七、细说Scrapy中的settings设置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。