requests模塊的入門使用

注意是requests不是request.

1、為什么使用requests模塊，而不是用python自帶的urllib

requests的底層實現就是urllib

requests在python2 和python3中通用，方法完全一樣

requests簡單易用

requests能夠自動幫助我們解壓(gzip壓縮的等)響應內容

作用：發送網絡請求，返回響應數據

中文文檔 ：http://docs.python-requests.org/zh_CN/latest/index.html

通過觀察文檔來學習：如何使用requests來發送網絡請求

2、requests模塊發送簡單的get請求，獲取響應。

需求：通過requests向百度首頁發送請求，獲取百度首頁的數據

import requests

# 目標url

url = 'https://www.baidu.com'

# 向目標url發送get請求

response = requests.get(url)

# 打印響應內容

print(response.text)

response的常用屬性：

response.text 響應體 str類型

respones.content 響應體 bytes類型

response.status_code 響應狀態碼

response.request.headers 響應對應的請求頭

response.headers 響應頭

response.request.cookies 響應對應請求的cookie

response.cookies 響應的cookie（經過了set-cookie動作）

2.1 response.text 和response.content的區別

response.text

類型：str

解碼類型：requests模塊自動根據HTTP 頭部對響應的編碼作出有根據的推測，推測的文本編碼

response.content

類型：bytes

解碼類型：沒有指定

如果在響應的response.text出現亂碼,將下面的三個方式按個試一遍，一般就能解決問題

response.content.decode()

response.content.decode('GBK')

response.content.decode('unicode-escape')

2.2 把網絡上的圖片保存到本地

我們來把網絡上的圖片保存到本地

分析：

圖片的url:https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1591375146706&di=43effd06a8da881890c639b392db48cd&imgtype=0&src=http%3A%2F%2F5b0988e595225.cdn.sohucs.com%2Fimages%2F20171108%2F3fe473acfc39476db58fadd7fbaf97ff.jpeg

利用requests模塊發送請求獲取響應

以2進制寫入的方式打開文件，并將response響應的二進制內容寫入

import requests

# 圖片的url

img_url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1591375146706&di=43effd06a8da881890c639b392db48cd&imgtype=0&src=http%3A%2F%2F5b0988e595225.cdn.sohucs.com%2Fimages%2F20171108%2F3fe473acfc39476db58fadd7fbaf97ff.jpeg'

# 響應本身就是一個圖片,并且是二進制類型

response = requests.get(img_url)

img = response.content

# 以二進制+寫入的方式打開文件

with open('first.jpg', 'wb') as f:

# 寫入response.content bytes二進制類型

f.write(img)

3、發送帶header的請求

我們先寫一個獲取百度首頁的代碼

import requests

url = 'https://www.baidu.com'

response = requests.get(url)

# 打印響應對應請求的請求頭信息

print(response.request.headers)

# 打印響應的數據長度

print(len(response.content.decode()))

輸出：

{'User-Agent': 'python-requests/2.22.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '/', 'Connection': 'keep-alive'}

2349

可以看出，請求頭是python-requests，服務器很容易就發現是python而不是瀏覽器在訪問。所以返回的數據非常少，

3.1 為什么請求需要帶上header？

模擬瀏覽器，欺騙服務器，獲取和瀏覽器一致的內容

3.2 header的形式：字典

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

3.3 用法

requests.get(url, headers=headers)

3.4 帶上請求頭的完整代碼

import requests

url = "https://www.baidu.com"

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"

}

response = requests.get(url,headers=headers)

print(response.request.headers)

print(len(response.content.decode()))

輸出：

{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36', 'Accept-Encoding': 'gzip, deflate', 'Accept': '/', 'Connection': 'keep-alive'}

286046

4、發送帶參數的請求

我們在使用百度搜索的時候經常發現url地址中會有一個 ?，那么該問號后邊的就是請求參數，又叫做查詢字符串

4.1 什么叫做請求參數：

例1：https://www.sohu.com/a/128244875_623785

例2：https://www.baidu.com/s?wd=python

例1中沒有請求參數！例2中?后邊的就是請求參數

4.2 請求參數的形式：字典

kw = {'wd':'長城'}

4.3 請求參數的用法

requests.get(url,params=kw)

4.4 關于參數的注意點

在url地址中， 很多參數是沒有用的，比如百度搜索的url地址，其中參數只有一個字段有用，其他的都可以刪除 如何確定那些請求參數有用或者沒用：挨個嘗試！對應的,在后續的爬蟲中，遇到很多參數的url地址，都可以嘗試刪除參數。

4.5 兩種方式：發送帶參數的請求

1.對https://www.baidu.com/s?wd=python發起請求可以使用requests.get(url, params=kw)的方式。

# 方式一：利用params參數發送帶參數的請求

import requests

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 這是目標url

# url = 'https://www.baidu.com/s?wd=python'

# 最后有沒有問號結果都一樣

url = 'https://www.baidu.com/s?'

# 請求參數是一個字典 即wd=python

kw = {'wd': 'python'}

# 帶上請求參數發起請求，獲取響應

response = requests.get(url, headers=headers, params=kw)

# 當有多個請求參數時，requests接收的params參數為多個鍵值對的字典，比如 '?wd=python&a=c'-->{'wd': 'python', 'a': 'c'}

print(response.content)

2.也可以直接對https://www.baidu.com/s?wd=python完整的url直接發送請求，不使用params參數

# 方式二：直接發送帶參數的url的請求

import requests

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

url = 'https://www.baidu.com/s?wd=python'

# kw = {'wd': 'python'}

# url中包含了請求參數，所以此時無需params

response = requests.get(url, headers=headers)

4.6 爬取指定貼吧

import requests

# 爬取指定名稱的貼吧，然后把網頁保存在本地

url="https://tieba.baidu.com/f?"

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"

}

word = input("請輸入想保存的貼吧名稱：")

for i in range(int(input("請輸入需要保存的頁碼："))):

params = {

"kw": word,

"pn": i*50

}

response = requests.get(url,headers=headers,params=params)

with open(f"{word}{i+1}.html",'wb') as f:

f.write(response.content)

print(f"{word}{i+1}.html保存完成")

二、requests模塊的深入使用

1、使用requests發送POST請求

哪些地方我們會用到POST請求？

登錄注冊（ POST 比 GET 更安全）

需要傳輸大文本內容的時候（ POST 請求對數據長度沒有要求）

所以同樣的，我們的爬蟲也需要在這兩個地方回去模擬瀏覽器發送post請求

1.1 requests發送post請求語法：

用法：

response = requests.post("http://www.baidu.com/", data = data,headers=headers)

data 的形式：字典

1.2 POST請求練習

下面我們通過百度翻譯的例子看看post請求如何使用：

思路分析

1、確定請求的url地址

2、確定請求的參數

百度翻譯獲取翻譯結果在另外一個url,也是post請求，但是參數很多，需要自己去構建，后面再說，這里簡單的展示一個例子，獲取輸入的語言類型。

url = "https://fanyi.baidu.com/langdetect"

word = input("請輸入查詢的關鍵字：")

#構造表單

data = {

"query": word

}

# 發送請求

print(eval(requests.post(url,data=data).text)["lan"])

輸出：

請輸入查詢的關鍵字：睡覺

zh

出現了eval,順便說一下，eval自動調整數據的格式。

str_data = '{"name":"張三","password":"zhangsanzhenshuai"}'

print(type(str_data))

print(eval(str_data))

print(type(eval(str_data)))

輸出：

{'name': '張三', 'password': 'zhangsanzhenshuai'}

2、使用代理

2.1 為什么要使用代理

讓服務器以為不是同一個客戶端在請求。

防止我們的真實地址被泄露，防止被追究。

2.2 理解使用代理的過程

2.3 理解正向代理和反向代理的區別

通過上圖可以看出：

正向代理：對于瀏覽器知道服務器的真實地址，例如VPN

反向代理：瀏覽器不知道服務器的真實地址，例如nginx

2.4 代理的使用

用法：

requests.get("http://www.baidu.com", proxies = proxies)

proxies的形式：字典

proxies = {

"http": "http://12.34.56.79:9527",

"https": "https://12.34.56.79:9527",

}

2.5 代理IP的分類

根據代理ip的匿名程度，代理IP可以分為下面四類：

透明代理(Transparent Proxy)：透明代理雖然可以直接“隱藏”你的IP地址，但是還是可以查到你是誰。

匿名代理(Anonymous Proxy)：使用匿名代理，別人只能知道你用了代理，無法知道你是誰。

高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理讓別人根本無法發現你是在用代理，所以是最好的選擇。

在使用的時候，毫無疑問使用高匿代理效果最好。

從請求使用的協議可以分為：

http代理

https代理

socket代理等

不同分類的代理，在使用的時候需要根據抓取網站的協議來選擇。

2.6 代理IP使用的注意點

1、反反爬

使用代理ip是非常必要的一種 反反爬 的方式

但是即使使用了代理ip，對方服務器仍然會有很多的方式來檢測我們是否是一個爬蟲，比如：

一段時間內，檢測IP訪問的頻率，訪問太多頻繁會屏蔽。

檢查Cookie，User-Agent，Referer等header參數，若沒有則屏蔽。

服務方購買所有代理提供商，加入到反爬蟲數據庫里，若檢測是代理則屏蔽。

所以更好的方式在使用代理ip的時候使用隨機的方式進行選擇使用，不要每次都用一個代理ip。

2、代理ip池的更新

購買的代理ip很多時候大部分(超過60%)可能都沒辦法使用，這個時候就需要通過程序去檢測哪些可用，把不能用的刪除掉。

PS：如有需要Python學習資料的小伙伴可以加下方的群去找免費管理員領取

可以免費領取源碼、項目實戰視頻、PDF文件等

本文的文字及圖片來源于網絡,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯系我們以作處理。

以上文章來源于海洋紀 ，作者劉夏橙

總結

以上是生活随笔為你收集整理的python requests的作用_Python爬虫第一课：requests的使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。