爬虫突破IP封锁
爬蟲突破IP封鎖
爬取網站最常出現的問題就是IP封鎖的問題,較為簡單的方法就是購買有效IP,免費IP雖然不花錢,但是不好用,做爬取測試的時候還勉強能用。
我從快代理購買付費的IP,把自己的電腦的IP加入白名單,再使用其提供的Api獲取有效IP進行爬取。
總結
- 上一篇: 字符串工具类,随机生成字符串
- 下一篇: WebMagic爬取58同城租房数据
爬取網站最常出現的問題就是IP封鎖的問題,較為簡單的方法就是購買有效IP,免費IP雖然不花錢,但是不好用,做爬取測試的時候還勉強能用。
我從快代理購買付費的IP,把自己的電腦的IP加入白名單,再使用其提供的Api獲取有效IP進行爬取。