一、文本

右擊選擇”檢查“，在network-js里以0.json開頭的網(wǎng)絡(luò)請(qǐng)求為單頁文本請(qǐng)求。在每一頁請(qǐng)求返回的response的json中，屬性c存儲(chǔ)了每一行的文字。因此，將所有頁的url請(qǐng)求一遍，且每一頁解析出json里屬性c對(duì)應(yīng)的每一行文本，即為整個(gè)文檔內(nèi)容。


代碼

import re # 正則表達(dá)式 import requests#0.json對(duì)應(yīng)的url urls=["","",""]headers = {"user-agent": "XXX" #XXX改為你自己的user-agent } count=0 for url in urls:count=count+1f = open(r'../baiduword/'+str(count)+'.doc', 'a+')res=requests.get(url=url,headers=headers)res.encoding = "unicode_escape"res_list=re.findall('"c":"(.*?)","p"',res.text)for raw in res_list:f.write(str(raw))

結(jié)果

每個(gè)文檔存儲(chǔ)一頁。

總結(jié)

以上是生活随笔為你收集整理的百度文库爬虫的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。