簡介

之前提到了用urllib使用代理ip的方式，詳見博文。這里使用另外一個框架-requests，其設計哲學為“獻給人類”。它繼承了urllib的所有特性，底層是urllib3。不同于urllib是python標準庫的內容，他是第三方的，所以需要下載安裝（conda或者pip都可以）。安裝conda和包的方法見我的博客。

教程

?這里我從89代理獲取了一個代理ip地址。

???????

?

import requests # 訪問的網頁 url = "http://www.baidu.com" # 使用的代理ip地址 proxy = {"http": '37.10.74.14:8080'} # 使用方法一 rsp = requests.get(url=url, proxies=proxy) print(rsp.text) print("$"*60) # 使用方法二 rsp = requests.request("get", url, proxies=proxy) print(rsp.text)

可以看到運行成功，我獲得了我想要的網頁數據供后續處理，當然由于使用代理的國外ip訪問速度稍慢。

總結

以上是生活随笔為你收集整理的Python爬虫-利用代理IP访问网页（requests）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。