一、工程優化及其完善

日志系統及定時過期刪除日志文件

在工程目錄中的 settings.py 添加如下修改：

import logging from scrapy.utils.log import configure_logging from logging.handlers import TimedRotatingFileHandlerFEED_EXPORT_ENCODING = 'gb18030' # 輸出的編碼格式為uft-8, gb18030# Log Config logLevelStr = os.getenv("logLevelStr","DEBUG") # INFO DEBUG logFlag = logging.DEBUG if logLevelStr == "DEBUG" else logging.INFO if logLevelStr == "INFO" else logging.WARNING LOG_LEVEL = os.getenv("LOG_LEVEL", logLevelStr) pwd = os.getcwd() + "/log"if not os.path.exists(pwd):os.makedirs(pwd) logHandler = TimedRotatingFileHandler(filename= pwd + '/Spider.log', when='midnight', interval=1, backupCount=7) logFormatter = logging.Formatter('%(asctime)s [%(name)s] %(levelname)s: %(message)s',"%Y-%m-%d %H:%

總結

以上是生活随笔為你收集整理的Scrapy 爬虫框架初体验三 —— 工程优化及其完善的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。