去搜
user-agent！！！！
referer！！！！！
網頁中怎么查看請求頭header信息
點一下Name里的東西就會出來

規模大小分類



robots協議

User-agent: * /// user-agent: * :指任何網絡爬蟲都不允許 通配符 Disallow: /?* ///disallow : 指不允許訪問的資源的目錄 Disallow: /pop/*.html Disallow: /pinpai/*.html?* User-agent: EtaoSpider Disallow: / 下面的是四個不允許的爬蟲（是四個購物助手） User-agent: HuihuiSpider Disallow: / User-agent: GwdangSpider Disallow: / User-agent: WochachaSpider Disallow: /

總結

以上是生活随笔為你收集整理的丑憨批的爬虫笔记2（爬虫引发的问题+robots协议）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。