如何快速使用IP代理池?
生活随笔
收集整理的這篇文章主要介紹了
如何快速使用IP代理池?
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1.使用自己搭好的代理池或者別人搭建好的代理池,一般都是網頁api的形式。
【建議多去Github逛逛,有你意想不到的收獲,也能提高英語和參與一點項目的改進】
(1)第一步當然是你的api地址了。
例如:
self.PROXY_POOL_URL = 'http://localhost:5000/get'
(2)向代理池的api發送請求獲取返回的IP【一般以字符串返回】
def get_proxy(self):#代理池 并未啟用
try:
response = requests.get(self.PROXY_POOL_URL)
if response.status_code == 200:
return {
'http':response.text,
'https':response.text
}
#proxies=Movie.get_proxy(self)
except ConnectionError:
return None
(3)獲取到之后,注意requests接受的代理的格式是字典格式
2.此外,可以從網上由IP代理的網站邊抓取邊使用,或者抓取了之后放到數據庫或者一個網頁的api上方便使用
總結
以上是生活随笔為你收集整理的如何快速使用IP代理池?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【深度学习】常用优化器总结
- 下一篇: 1294