Urllib

Urllib.request.urlopen().read().decode()
返回一個二進(jìn)制的對象，對這個對象進(jìn)行read()操作，可以得到一個包含網(wǎng)頁的二進(jìn)制字符串，然后用decode()解碼成html源碼

urlretrieve()
將一個網(wǎng)頁爬取到本地

urlclearup()
清除 urlretrieve()所產(chǎn)生的緩存

info()
返回一個httpMessage對象，表示遠(yuǎn)程服務(wù)器的頭信息

getcode()
獲取當(dāng)前網(wǎng)頁的狀態(tài)碼 200代表成功，404網(wǎng)頁未找到

geturl()
獲取當(dāng)前爬取頁面的網(wǎng)址

示例:

from urllib import request # urlretrieve() -- 將一個網(wǎng)頁爬取到本地 request.urlretrieve("http://www.baidu.com",filename="demo.html")# urlclearup() -- 清除urlretrieve()所產(chǎn)生的緩存 request.urlcleanup()# info() -- 返回一個httpMessage對象,表示遠(yuǎn)程服務(wù)器的頭信息 data = request.urlopen("http://www.taobao.com") print(data.info())# getcode() -- 獲取當(dāng)前網(wǎng)頁的狀態(tài)碼data.geturl() print(data.getcode())# 獲取當(dāng)前爬取頁面的網(wǎng)址 print(data.geturl())

運(yùn)行結(jié)果：

Server: Tengine Date: Wed, 09 May 2018 09:55:16 GMT Content-Type: text/html; charset=utf-8 Transfer-Encoding: chunked Connection: close Vary: Accept-Encoding X-Snapshot-Age: 1 Content-MD5: tkjcPUrHBAIt2N/YXcuwZg== Vary: Ali-Detector-Type, X-CIP-PT Cache-Control: max-age=0, s-maxage=89 ETag: W/"29b8-16340528168" Via: cache22.l2cm9[0,304-0,H], cache17.l2cm9[0,0], cache1.cn372[0,200-0,H], cache2.cn372[1,0] Age: 70 X-Cache: HIT TCP_MEM_HIT dirn:-2:-2 mlen:-1 X-Swift-SaveTime: Wed, 09 May 2018 09:54:59 GMT X-Swift-CacheTime: 36 Timing-Allow-Origin: * EagleId: 3c1cf2e515258597167937091e Set-Cookie: thw=cn; Path=/; Domain=.taobao.com; Expires=Thu, 09-May-19 09:55:16 GMT; Strict-Transport-Security: max-age=31536000 200 https://www.taobao.com/

超時設(shè)置(timeout)

由于在實(shí)際的爬取過程中，部分網(wǎng)站可能訪問過慢，影響性能，這時我們可設(shè)置超時訪問.

示例： 如果在指定時間內(nèi)正常訪問，即輸出獲取數(shù)據(jù)的長度，如果超出指定時間，則拋出異常.

for i in range(0,10):try:data = urllib.request.urlopen("http://www.baidu.com",timeout=0.05).read()print(len(data))except Exception as e:print("出現(xiàn)異常:"+str(e))

運(yùn)行結(jié)果:

114980 114888 114809 114839 114824 114611 出現(xiàn)異常:<urlopen error timed out> 出現(xiàn)異常:<urlopen error timed out> 出現(xiàn)異常:<urlopen error timed out> 115003

偽裝

在爬取過程中，可能部分網(wǎng)站限制瀏覽器訪問所以為了順利達(dá)到我們的目的，我們對自己進(jìn)行偽裝.
這里我們介紹一下瀏覽器的偽裝技術(shù).

普通爬取：

from urllib import request file = request.urlopen("http://www.baidu.com").read().decode()

通過瀏覽器偽裝爬取數(shù)據(jù)：

方式一：

from urllib import request url = "http://www.baidu.com" headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #這里模擬瀏覽器 opener = request.build_opener() opener.addheaders = [headers] data = opener.open(url).read() print(data)

方式二:

from urllib import request url = "http://www.baidu.com" headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #這里模擬瀏覽器 opener = request.build_opener() opener.addheaders = [headers] request.install_opener(opener) data = request.urlopen(url).read().decode("utf-8") print(data)

方式三:

from urllib import request url = "http://www.baidu.com" headers = {}"User-Agent":" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"} #這里模擬瀏覽器,通過字典 req = request.Request(url=rul,headers=headers) data = request.urlopen(req).read().decode("utf-8") print(data)

異常處理

爬蟲在運(yùn)行過程中,可能會出現(xiàn)各種各樣的問題，如果沒有異常處理的話,爬出異常會直接崩潰停止運(yùn)行，下次再運(yùn)行的時候,爬蟲又要重頭開始，所以我們要開發(fā)的是一個具有頑強(qiáng)生命力的爬蟲，必須要進(jìn)行異常的處理.

常見異常示例:

301 重定向 403 禁止訪問 404 沒有找到頁面 500 服務(wù)器內(nèi)部出現(xiàn)問題 200 成功

python中有兩個異常處理的類:URLError與HttpError

HttpError 是 URLError子類HttpError 有異常狀態(tài)碼和異常原因URLError 只有異常原因,沒有異常狀態(tài)碼所以,在異常處理的時候,不能使用URLError來代替如果想要代替,必須要進(jìn)行判斷,判斷是否有狀態(tài)碼屬性會產(chǎn)生URLError的情況:1.連接不上服務(wù)器2.遠(yuǎn)程的url不存在3.本地網(wǎng)絡(luò)4.HttpError(是子類,也會出發(fā)會產(chǎn)生URLError

格式如下：

from urllib import error,request try: # 可能會出現(xiàn)異常的代碼data = request.urlopen("http://www.aliyu.com").read()print(data)except error.URLError as e: # 進(jìn)行異常的處理if hasattr(e,"code"): # 判斷是否有狀態(tài)碼print(e.code) # 狀態(tài)碼if hasattr(e,"reason"): # 判斷是否有異常原因print(e.reason) # 異常原因

總結(jié)

以上是生活随笔為你收集整理的python爬虫之urllib,伪装,超时设置,异常处理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。