網頁采集器

• User-Agent偽裝
• 完整代碼

功能：通過動態url來實現用戶輸入搜索關鍵字，返回搜索到的頁面。

User-Agent偽裝

一種反爬機制。
原理：網站的服務器會檢測對于請求的載體身份標識，如果檢測到請求的載體身份標識為某一款瀏覽器，
說明該請求為一個正常的請求。然而我們寫的get請求的身份標識是爬蟲程序，所以需要偽裝成瀏覽器的User-Agent。

完整代碼

import requests headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48'}#url='https://www.sogou.com/web?query=加藤惠' url='https://www.sogou.com/web?' #問號可要可不要 #制作動態url,處理url攜帶的參數 kw=input('輸入一個關鍵詞：') param={'query':kw } response=requests.get(url=url,params=param,headers=headers) #等于在url后面自動拼接了參數,headers增加了請求頭 page_text=response.textfilename=kw+'.html' with open(filename,'w',encoding='utf-8') as f:f.write(page_text) print(filename+'保存成功！！！') 創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的Requests库实战(一)---网页采集器的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。