新工具上线!只需2步助你轻松学爬虫!
作者簡介:張老師,學習計算機十余年,在信息安全、生物信息學、會計、平面設計、編輯出版等多個領域也均有涉獵,熱愛鉆研、熱愛考證、熱愛生活。
你還在為Python爬蟲入門發愁么?
你還在構建requests請求發愁么?
它來了!它就是curl2pyreqs庫。
curl2pyreqs是一款基于?Python?實現的?curl?轉換工具,可以直接將 curl 請求轉換為使用 python-requests 的 Python 腳本。
Github:https://github.com/knightz1224/curl2pyreqs/
只需2步自動生成requests文件:
1. 復制
2. 運行
接下來讓我們體驗一下~
一、系統要求
版本:Python 3.8+
依賴:pyperclip >= 1.8.0
Linux下需安裝X剪貼板組件,如xclip或xsel。
二、安裝方法(推薦使用清華源安裝)
Windows 下,在命令行輸入:
>?pip?install?curl2pyreqsMac OS 或 Linux 下,在終端輸入:
$?pip3?install?curl2pyreqs三、使用方法
1. 復制
在Chrome或Firefox瀏覽器中,按F12,打開開發者模式,復制curl請求;
2. 運行
運行curl2pyreqs,即可生成對應的requests代碼,并且直接復制到了剪貼板中。
最后,粘貼到Python文件中即可修改代碼。
四、Termux補丁
Termux 是一款支持 Linux 環境的 Android 終端模擬器APP。你無需對手機進行root或額外設置即可使用。Termux的環境配置請參見相關教程:《手把手教你在手機或平板上配置Python環境!》
由于pyperclip暫時不支持Termux的復制粘貼,所以張老師為大家做了一個補丁,這個補丁為pyperclip添加了Termux支持。具體安裝方法如下:
安裝Termux:API,下載地址:
https://f-droid.org/repo/com.termux.api_47.apk安裝termux-api依賴包
下載補丁并安裝:
git?clone?https://github.com/knightz1224/termux_pyperclip_patch cd?termux_pyperclip_patch python?setup.py安裝完成后,我們就可以使用curl2pyreqs了
五、其他使用方法
如無法調用剪貼板,可以通過將curl請求存入文本文件進行轉換:
以UTF-8編碼格式存入文本,如example.curl;
運行curl2pyreqs -F example.curl,即可生成對應的example.py文件。
最后,查看example.py文件,里面已經是完整的代碼了。
六、結語
其他使用方法請參見項目Github:
https://github.com/knightz1224/curl2pyreqs/技術群邀請函
△掃碼添加小助手姐姐
備注:姓名/昵稱-職業-研究方向
學生可加入「小詹學Python@學生專屬」社群
總結
以上是生活随笔為你收集整理的新工具上线!只需2步助你轻松学爬虫!的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 命犯编程!因为名字特殊,她被苹果封了 6
- 下一篇: 你能体会那种写 Python 时不用 i