linux c语 curl代码_偷懒必备工具——一键生成爬虫代码
我們在構建網絡請求的時候,不可避免地要添加請求頭(headers),以mdn學習區為例(https://developer.mozilla.org/zh-CN/docs/learn),我們的請求頭是這樣的:
一般來說,我們只要添加user-agent和cookie就能滿足絕大部分需求了,Python代碼如下:
但是有些請求,我們要把特定的headers參數添加上才能獲得正確的網絡響應,不知道哪個參數是必要的情況下,就要先把所有參數都添加上,再逐個排除。
但是手動復制粘貼headers字典里的每一個鍵值對太費事了,一個不那么方便的解決方案:
- 正則表達式或者直接字符串替換,把headers字符串拷貝下來,轉化為字典
有沒有把網絡請求快速構建成Python代碼的方法呢?這里給大家介紹兩個:
- 網站在線轉換
- Postman
抓取網站:https://developer.mozilla.org/zh-CN/docs/learn
網站在線轉換
1,Chrome打開開發者選項(f12),network選項卡,刷新頁面,獲取請求,找到頁面信息對應的請求 (通過請求的名稱、后綴和response來判斷)
2,右鍵,copy,copy as cURL (bash),注意不是【copy as cURL (cmd)】
3,打開網站,https://curl.trillworks.com/,粘貼cURL (bash)到左邊curl command,右邊會自動出Python代碼
4,生成代碼如下圖
5,print(response.text) 就可以打印網頁源代碼啦!
Postman
1,下載postman (Chrome有個postman的插件,操作應該差不多)
2,打開postman,彈出的界面可以直接關掉
3,import,paste raw text,在Chrome里復制curl(bash),粘貼到下面的對話框里,點擊import按鈕
4,點擊send,模擬網絡請求,下方可查看源代碼
5,確保源代碼正常后,點擊code
6,左上角可以選擇編程語言,右上角復制到剪貼板
總結
以上是生活随笔為你收集整理的linux c语 curl代码_偷懒必备工具——一键生成爬虫代码的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: POSIX互斥锁api函数
- 下一篇: linux条件变量