python爬蟲之urllib,偽裝,超時設置,異常處理的方法

Urllib

1. Urllib.request.urlopen().read().decode()

返回一個二進制的對象，對這個對象進行read()操作，可以得到一個包含網頁的二進制字符串，然后用decode()解碼成html源碼

2. urlretrieve()

將一個網頁爬取到本地

3. urlclearup()

清除 urlretrieve()所產生的緩存

4. info()

返回一個httpMessage對象，表示遠程服務器的頭信息

5. getcode()

獲取當前網頁的狀態碼 200代表成功，404網頁未找到

6. geturl()

獲取當前爬取頁面的網址

示例：

from urllib import request

# urlretrieve() -- 將一個網頁爬取到本地

request.urlretrieve("http://www.baidu.com",filename="demo.html")

# urlclearup() -- 清除urlretrieve()所產生的緩存

request.urlcleanup()

# info() -- 返回一個httpMessage對象,表示遠程服務器的頭信息

data = request.urlopen("http://www.taobao.com")

print(data.info())

# getcode() -- 獲取當前網頁的狀態碼data.geturl()

print(data.getcode())

# 獲取當前爬取頁面的網址

print(data.geturl())

運行結果：

Server: Tengine

Date: Wed, 09 May 2018 09:55:16 GMT

Content-Type: text/html; charset=utf-8

Transfer-Encoding: chunked

Connection: close

Vary: Accept-Encoding

X-Snapshot-Age: 1

Content-MD5: tkjcPUrHBAIt2N/YXcuwZg==

Vary: Ali-Detector-Type, X-CIP-PT

Cache-Control: max-age=0, s-maxage=89

ETag: W/"29b8-16340528168"

Via: cache22.l2cm9[0,304-0,H], cache17.l2cm9[0,0], cache1.cn372[0,200-0,H], cache2.cn372[1,0]

Age: 70

X-Cache: HIT TCP_MEM_HIT dirn:-2:-2 mlen:-1

X-Swift-SaveTime: Wed, 09 May 2018 09:54:59 GMT

X-Swift-CacheTime: 36

Timing-Allow-Origin: *

EagleId: 3c1cf2e515258597167937091e

Set-Cookie: thw=cn; Path=/; Domain=.taobao.com; Expires=Thu, 09-May-19 09:55:16 GMT;

Strict-Transport-Security: max-age=31536000

200

https://www.taobao.com/

超時設置(timeout)

由于在實際的爬取過程中，部分網站可能訪問過慢，影響性能，這時我們可設置超時訪問.

示例： 如果在指定時間內正常訪問，即輸出獲取數據的長度，如果超出指定時間，則拋出異常.

for i in range(0,10):

try:

data = urllib.request.urlopen("http://www.baidu.com",timeout=0.05).read()

print(len(data))

except Exception as e:

print("出現異常:"+str(e))

運行結果：

114980

114888

114809

114839

114824

114611

出現異常:

出現異常:

出現異常:

115003

偽裝

在爬取過程中，可能部分網站限制瀏覽器訪問所以為了順利達到我們的目的，我們對自己進行偽裝.

這里我們介紹一下瀏覽器的偽裝技術.

普通爬取：

from urllib import request

file = request.urlopen("http://www.baidu.com").read().decode()

通過瀏覽器偽裝爬取數據：

方式一：

from urllib import request

url = "http://www.baidu.com"

headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #這里模擬瀏覽器

opener = request.build_opener()

opener.addheaders = [headers]

data = opener.open(url).read()

print(data)

方式二：

from urllib import request

url = "http://www.baidu.com"

headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #這里模擬瀏覽器

opener = request.build_opener()

opener.addheaders = [headers]

request.install_opener(opener)

data = request.urlopen(url).read().decode("utf-8")

print(data)

方式三：

from urllib import request

url = "http://www.baidu.com"

headers = {}"User-Agent":" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"} #這里模擬瀏覽器,通過字典

req = request.Request(url=rul,headers=headers)

data = request.urlopen(req).read().decode("utf-8")

print(data)

異常處理

爬蟲在運行過程中,可能會出現各種各樣的問題，如果沒有異常處理的話,爬出異常會直接崩潰停止運行，下次再運行的時候,爬蟲又要重頭開始，所以我們要開發的是一個具有頑強生命力的爬蟲，必須要進行異常的處理.

常見異常示例：

301 重定向

403 禁止訪問

404 沒有找到頁面

500 服務器內部出現問題

200 成功

python中有兩個異常處理的類：URLError與HttpError

HttpError 是 URLError子類

HttpError 有異常狀態碼和異常原因

URLError 只有異常原因,沒有異常狀態碼

所以,在異常處理的時候,不能使用URLError來代替

如果想要代替,必須要進行判斷,判斷是否有狀態碼屬性

會產生URLError的情況:

1.連接不上服務器

2.遠程的url不存在

3.本地網絡

4.HttpError(是子類,也會出發會產生URLError

格式如下：

from urllib import error,request

try: # 可能會出現異常的代碼

data = request.urlopen("http://www.aliyu.com").read()

print(data)

except error.URLError as e: # 進行異常的處理

if hasattr(e,"code"): # 判斷是否有狀態碼

print(e.code) # 狀態碼

if hasattr(e,"reason"): # 判斷是否有異常原因

print(e.reason) # 異常原因

以上這篇python爬蟲之urllib,偽裝,超時設置,異常處理的方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持碼農之家。

以上就是本次給大家分享的關于java的全部知識點內容總結，大家還可以在下方相關文章里找到相關文章進一步學習，感謝大家的閱讀和支持。

您可能感興趣的文章:

總結

以上是生活随笔為你收集整理的python爬虫网络请求超时_python总urllib,伪装,超时设置,异常处理的方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。