爬虫必备反爬技能:使用动态ip
生活随笔
收集整理的這篇文章主要介紹了
爬虫必备反爬技能:使用动态ip
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
目錄
一、為什么要使用動態代理ip?
二、如何申請動態代理ip?
三、如何使用動態ip?
一、為什么要使用動態代理ip?
使用它的好處在哪里呢?
以上幾點,足以知道使用代理動態ip的好處,難不成還用自己電腦的ip呢?ip是能定位到你的好吧,所以咱一般不用自己的本地ip爬(簡單的本地爬,某些數據還是要使用代理ip哈)
二、如何申請動態代理ip?
我隨便使用的一個代理ip網站。反正你們隨便找個代理網站都行。看誰福利多就用誰的咯,這個ipidea 我只是用來測試。
生成代理api
點擊生成鏈接:
認證一下:
再返回,點擊生成鏈接,復制鏈接(保存在文檔):
三、如何使用動態ip?
我們就是用最簡單的requests模塊:
import requests然后我們再加上隨機請求頭模塊(反爬用):
from fake_useragent import UserAgent導入請求的url和隨機請求頭:
url='https://sjz.anjuke.com/community/p1'headers={'User-Agent':UserAgent().random}使用api獲取到ip:(記得換成你自己的api)
# proxies = {'協議': '協議://IP:端口號'} api_url='http://tiqu.ipidea.io:81/abroad?num=1&type=1&lb=1&sb=0&flow=1®ions=&port=1'res = requests.post(api_url,headers=headers, verify=True) proxie = "https://%s"%(res.text) proxies = {'http': proxie} print(proxies)請求網址(以安居二手房為例子):
html=requests.get(url=url,headers=headers,proxies=proxies).text print(html)完整源碼:
import requests from fake_useragent import UserAgenturl='https://sjz.anjuke.com/community/p1'headers={'User-Agent':UserAgent().random}# proxies = {'協議': '協議://IP:端口號'} api_url='http://tiqu.ipidea.io:81/abroad?num=1&type=1&lb=1&sb=0&flow=1®ions=&port=1'res = requests.post(api_url,headers=headers, verify=True) proxie = "https://%s"%(res.text) proxies = {'http': proxie} print(proxies)html=requests.get(url=url,headers=headers,proxies=proxies).text print(html)運行如下:
更多案例和具體實戰我已經在前面的文章講過了,這里主要是教一下大家如何使用代理ip,只是在原來的基礎上加了一個代理ip。代理ip對于爬蟲手來說,用處很大,大家一定要好好學哇!
總結
以上是生活随笔為你收集整理的爬虫必备反爬技能:使用动态ip的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python基础入门(5)之运算符
- 下一篇: 人体轮廓_人体艺术:赏世界著名的女人体油