馬蜂窩爬蟲分享

今天早上爬馬蜂窩的數據，還在檢查報錯的時候，就發現自己的ip被ban，真心慘，數據沒拿到，ip還被封，新手太天真，“挑逗”這種大型內容分享平臺的反爬蟲，因此想做一個簡單的總結，希望自己的經驗可以對大家，以及自己以后的爬蟲之旅有幫助

user_agent+cookie，不夠使

1.這次并不是完全的裸爬。稍微帶了點偽裝，還是被發現了。馬蜂窩必帶cookie，不然會報502。但是它的cookie失效的特別快，大概5min左右吧，所以相對于帶cookie爬，個人建議先準備一大堆cookie，或者使用session？這兩個都沒有嘗試。
2.個人推薦還是使用代理ip，本人的ip被封了大概1hour，才解封，so，代理ip是必要的

總結

以上是生活随笔為你收集整理的马蜂窝分享的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。