這篇文章主要介紹了Python requests獲取網(wǎng)頁常用方法解析,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下

主要記錄使用 requests 模塊獲取網(wǎng)頁源碼的方法

class Crawler(object):

"""

采集類

"""

def __init__(self, base_url):

self._base_url = base_url

self._cookie = None

self._getCookie()

def _getCookie(self):

"""

獲取站點cookie

:return:

"""

try:

res = requests.get(self._base_url)

res.raise_for_status()

# TODO response.cookies獲取到的是一個cookiejar對象，需要使用requests.utils.dict_from_cookiejar來

# TODO 將cookiejar對象轉(zhuǎn)換為一個字典，這個字典后續(xù)使用的時候，在請求時直接傳入就可以了，

# 如 requests.get(url, cookies=cookies)

self._cookie = requests.utils.dict_from_cookiejar(res.cookies)

print self._cookie

except Exception as e:

print e

def get_html_text(self, url, **kwargs):

"""

爬取網(wǎng)頁的通用代碼框架

:param url:

:param method:

:param kwargs:

:return:

"""

try:

kwargs.setdefault('cookies', self._cookie)

res = requests.get(url, **kwargs)

# TODO 若響應(yīng)狀態(tài)碼不是200, 拋出 HTTPError 異常

res.raise_for_status()

res.encoding = res.apparent_encoding

# print requests.utils.dict_from_cookiejar(res.cookies)

return res.text

except Exception as e:

print traceback.print_exc()

return

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

總結(jié)

以上是生活随笔為你收集整理的pythonrequests解析_Python requests获取网页常用方法解析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。