剛開始執行scrapy crawl zentaos可以完成掃描

但是通過linux的crontab任務，只執行了連接mongodb的操作，并創建了索引

也就是說scrapy crawl zentaos部分的任務沒有執行

什么原因呢？

加上

export PATH=$PATH:/usr/local/bin

就可以解決問題

mongo會自動創建索引

轉載于:https://www.cnblogs.com/qmfsun/p/6290361.html

總結

以上是生活随笔為你收集整理的linux下执行scrapy的爬虫定时任务的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。