第1個爬蟲程序：
main.py

#! python # -*- coding: utf-8 -*- from urllib.request import urlopen url = "https://www.hao123.com/"if __name__ == '__main__':resp = urlopen(url)# 把讀取到網(wǎng)頁的頁面源代碼寫入myGetFile.html文件with open("myGetFile.html", mode="w", encoding='utf-8') as f:f.write(resp.read().decode('utf-8'))f.close() # 關(guān)閉文件resp.close() # 關(guān)閉resp響應(yīng)print("結(jié)束")

第2個爬蟲程序：
main2.py

# -*- coding: utf-8 -*- import requestsif __name__ == '__main__':query = input("請輸入一個你喜歡的明星：")url = f"https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&srcqid=5655130659909863611&tn=50000021_hao_pg&wd={query}"dic = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.47"}resp = requests.get(url, headers=dic) # 處理一個小小的反爬# print(resp)# print(resp.text) # 打印讀取到的網(wǎng)頁的頁面源代碼# 把讀取到網(wǎng)頁的頁面源代碼寫入myGetFile.html文件with open("myGetFile.html", mode="w", encoding='utf-8') as f:f.write(resp.text) # 讀取到網(wǎng)頁的頁面源代碼f.close() # 關(guān)閉文件resp.close() # 關(guān)閉resp響應(yīng)連接print("結(jié)束")

第3個爬蟲程序：
main3.py

# -*- coding: utf-8 -*- import requestsif __name__ == '__main__':url = "https://fanyi.baidu.com/sug"s = input("請輸入你要翻譯的英文單詞：")# 要翻譯的英文單詞dat = {"kw": s}# 用戶代理dicHeaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.47"}# 發(fā)送post請求，發(fā)送的數(shù)據(jù)必須放在字典中，通過data參數(shù)進行傳遞resp = requests.post(url, headers=dicHeaders, data=dat)# print(resp.text)# 將服務(wù)器返回的內(nèi)容直接處理成json(),就是字典格式print(resp.json())resp.close() # 關(guān)閉resp響應(yīng)連接print("結(jié)束")

第4個爬蟲程序：
main4.py

# -*- coding: utf-8 -*- import requestsif __name__ == '__main__':url = "https://movie.douban.com/j/chart/top_list"# 參數(shù)dicParam = {"type": "24","interval_id": "100:90","action": "","start": "0","limit": "20"}# 用戶代理dicHeaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.47"}# 發(fā)送get請求，發(fā)送的數(shù)據(jù)必須放在字典中，通過params參數(shù)進行傳遞resp = requests.get(url=url, params=dicParam, headers=dicHeaders) # 處理小小的反爬# print(resp.text)# 將服務(wù)器返回的內(nèi)容直接處理成json(),就是字典格式# print(resp.json())objData = resp.json()# 打印信息for i in range(0, len(objData)):print(objData[i])resp.close() # 關(guān)閉resp響應(yīng)連接print("結(jié)束")

第5個爬蟲程序：
main5.py

# -*- coding: utf-8 -*- import requestsif __name__ == '__main__':url = "https://movie.douban.com/j/chart/top_list"# 進行連續(xù)2輪獲取數(shù)據(jù)，每輪20個數(shù)據(jù)for n in range(0, 2):# 參數(shù)dicParam = {"type": "24","interval_id": "100:90","action": "","start": f"{20*n}","limit": "20"}# 用戶代理dicHeaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.47"}# 發(fā)送post請求，發(fā)送的數(shù)據(jù)必須放在字典中，通過data參數(shù)進行傳遞resp = requests.get(url=url, params=dicParam, headers=dicHeaders) # 處理小小的反爬# print(resp.text)# 將服務(wù)器返回的內(nèi)容直接處理成json(),就是字典格式# print(resp.json())objData = resp.json()print(f"第{n+1}輪20個數(shù)據(jù):")# 打印信息for i in range(0, len(objData)):print(objData[i])resp.close() # 關(guān)閉resp響應(yīng)連接print("結(jié)束")

關(guān)注公眾號，獲取更多資料

總結(jié)

以上是生活随笔為你收集整理的python爬虫程序requests采用get和post方式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。