使用 mitmproxy + python 做拦截代理
From:https://blog.wolfogre.com/posts/usage-of-mitmproxy? ??https://www.cnblogs.com/H4ck3R-XiX/p/12624072.html
????????????http://www.cnblogs.com/grandlulu/p/9525417.html
mitmProxy 介紹:https://blog.csdn.net/h416756139/article/details/51940757
github地址:https://github.com/mitmproxy/mitmproxy
mitmproxy 官網:https://mitmproxy.org? ? ? ? mitmproxy 官網文檔:https://docs.mitmproxy.org/stable
mitmproxy 官方示例 及 API:(推薦從 simple 開始):https://github.com/mitmproxy/mitmproxy/tree/master/examples
如何突破網站對 selenium 的屏蔽 :?https://blog.csdn.net/qq_26877377/article/details/83307208
和 Charles 同樣強大的 iOS 免費抓包工具 mitmproxy:http://ios.jobbole.com/91030
朋友圈紅包照片 mitmproxy 抓包破解:https://www.jianshu.com/p/4bef2926d8b9
mitmproxy 系列博文:https://blog.csdn.net/hqzxsc2006/article/category/6971655
http proxy 在 web 滲透上占據著非常重要的地位,這方面的工具也非常多,像 burp suite, Fiddler,Charles 簡直每個都是搞 web 的必備神器。本文主要介紹 mitmproxy,是一個較為完整的?mitmproxy?教程,側重于介紹如何開發攔截腳本,幫助讀者能夠快速得到一個自定義的代理工具。
本文假設讀者有基本的 python 知識,且已經安裝好了一個?python?3 開發環境。如果你對?nodejs?的熟悉程度大于對 python,可移步到?anyproxy,anyproxy 的功能與 mitmproxy 基本一致,但使用 js 編寫定制腳本。除此之外我就不知道有什么其他類似的工具了,如果你知道,歡迎評論告訴我。
1. mitmproxy 是什么
顧名思義,mitmproxy 就是用于 MITM 的 proxy,MITM 即?中間人攻擊(Man-in-the-middle attack),mitmproxy 譯為中間人代理工具,可以用來攔截、修改、保存 HTTP/HTTPS 請求。以命令行終端形式呈現,操作上類似于Vim,同時提供了 mitmweb 插件,是類似于 Chrome 瀏覽器開發者模式的可視化工具。中間人代理一般在客戶端和服務器之間的網絡中攔截、監聽和篡改數據。用于中間人攻擊的代理首先會向正常的代理一樣轉發請求,保障服務端與客戶端的通信,其次,會適時的查、記錄其截獲的數據,或篡改數據,引發服務端或客戶端特定的行為。
不同于 fiddler 或 wireshark 等抓包工具,mitmproxy 不僅可以截獲請求幫助開發者查看、分析,更可以通過自定義腳本進行二次開發。舉例來說,利用 fiddler 可以過濾出瀏覽器對某個特定 url 的請求,并查看、分析其數據,但實現不了高度定制化的需求,類似于:“截獲對瀏覽器對該 url 的請求,將返回內容置空,并將真實的返回內容存到某個數據庫,出現異常時發出郵件通知”。mitmproxy 它是基于Python開發的開源工具,最重要的是它提供了Python API,這樣就可以通過載入自定義 python 腳本輕松實現使用Python代碼來控制請求和響應。這是其它工具所不能做到的。
但 mitmproxy 并不會真的對無辜的人發起中間人攻擊,由于 mitmproxy 工作在 HTTP 層,而當前 HTTPS 的普及讓客戶端擁有了檢測并規避中間人攻擊的能力,所以要讓 mitmproxy 能夠正常工作,必須要讓客戶端(APP 或瀏覽器)主動信任 mitmproxy 的 SSL 證書,或忽略證書異常,這也就意味著 APP 或瀏覽器是屬于開發者本人的——顯而易見,這不是在做黑產,而是在做開發或測試。
那這樣的工具有什么實際意義呢?據我所知目前比較廣泛的應用是做仿真爬蟲,即利用手機模擬器、無頭瀏覽器來爬取 APP 或網站的數據,mitmpproxy 作為代理可以攔截、存儲爬蟲獲取到的數據,或修改數據調整爬蟲的行為。
5 種代理模式
事實上,以上說的僅是 mitmproxy 以正向代理模式工作的情況,通過調整配置,mitmproxy 還可以作為透明代理、反向代理、上游代理、SOCKS 代理等,
總共有五種代理模式:
正向代理
- 1、正向代理(regular proxy)啟動時默認選擇的模式。是一個位于客戶端和原始服務器(origin server)之間的服務器,為了從原始服務器取得內容,客戶端向mitmproxy代理發送一個請求并指定目標(原始服務器),然后代理向原始服務器轉交請求并將獲得的內容返回給客戶端。客戶端必須要進行一些特別的設置才能使用正向代理。
正向代理:所謂正向代理就是順著請求的方向進行的代理,即代理服務器他是由你配置為你服務,去請求目標服務器地址。比如我們要去訪問國外的網站,我們直接訪問不通,那么我們就可以找一個代理服務器為我們服務,我們通過代理服務器請求到國外的網站。對于國外的網站而言,他只知道有一個服務器訪問了自己,并不知道這件事你是通過代理服務器訪問自己。
一個通俗的例子:你需要錢,C正好有錢,但是C不直接借給你。你和B關系比較好,B可以找C借到錢。你和B溝通后,由B來找C借到錢后在給你。
正向代理類似一個跳板機,代理訪問外部資源
正向代理的用途:
(1) 通過間接方式,訪問原來無法直接訪問的資源。
? ?? ? (2) 可以做緩存,加速訪問資源
(3) 對客戶端訪問授權,上網進行認證
(4) 代理可以記錄用戶訪問記錄(上網行為管理),對外隱藏用戶信息
反向代理
- 2、反向代理(reverse proxy)啟動參數 -R host。跟正向代理正好相反,對于客戶端而言它就像是原始服務器,并且客戶端不需要進行任何特別的設置。客戶端向mitmproxy代理服務器發送普通請求,mitmproxy轉發請求到指定的服務器,并將獲得的內容返回給客戶端,就像這些內容 原本就是它自己的一樣。
反向代理:所謂反向代理正好與正向代理相反,代理服務器是為目標服務器服務的,雖然整體的請求返回路線都是一樣的都是Client 到 Proxy 到 Server。比如:我們訪問百度網站,百度的代理服務器對外的域名為 https://www.baidu.com 。具體內部的服務器節點我們不知道。現實中我們通過訪問百度的代理服務器后,代理服務器給我們轉發請求到他們N多的服務器節點中的一個給我們進行搜索后將結果返回。
再舉例:我們同樣需要錢,但是我們又不知道誰有錢,所以我們找了一家網貸平臺,你提交資料后,網貸平臺直接將錢打給你。但是你不知道,也不用關注網貸平臺的錢從哪里來。網貸平臺內部他們可能從哪一個財主哪里融的錢。對你而言網貸平臺和他們的金主是一起的。
同樣通過上面我們例子可以看到,此時的代理服務器和后面的目標主機是一個系統的(百度公司、網貸平臺)。他們是對外提供服務的,所以稱為反向代理,代理的是后的人。
反向代理(Reverse Proxy)實際運行方式是指以代理服務器來接受internet上的連接請求,然后將請求轉發給內部網絡上的服務器,并將從服務器上得到的結果返回給internet上請求連接的客戶端,此時代理服務器對外就表現為一個服務器
反向代理的作用:
? ? (1)保證內網的安全,阻止 web 攻擊,大型網站,通常將反向代理作為公網訪問地址,Web 服務器是內網
? ? (2)負載均衡,通過反向代理服務器來優化網站的負載
知乎?https://www.zhihu.com/question/24723688
反向代理 和 正向代理 區別:https://www.cnblogs.com/taostaryu/p/10547132.html
正向代理代理的對象是客戶端,反向代理代理的對象是服務端。即?正向代理隱藏真實客戶端,反向代理隱藏真實服務端
看圖理解 1:
看圖理解 2:
正向代理中,proxy 和 client 同屬一個 LAN,對 server 透明;
反向代理中,proxy 和 server 同屬一個 LAN,對 client 透明。
實際上 proxy 在兩種代理中做的事都是代為收發請求和響應,不過從結構上來看正好左右互換了下,所以把后出現的那種代理方式叫成了反向代理
總結
正向代理 即是客戶端代理,代理客戶端,服務端不知道實際發起請求的客戶端。正向代理:買票的黃牛
反向代理 即是服務端代理,代理服務端,客戶端不知道實際提供服務的服務端。反向代理:租房的代理
上行代理
- 3、上行代理(upstream proxy)啟動參數 -U host。mitmproxy 接受代理請求,并將所有請求無條件轉發到指定的上游代理服務器。這與反向代理相反,其中 mitmproxy 將普通 HTTP 請求轉發給 上游服務器。
透明代理
透明代理是指將網絡流量直接重定向到網絡端口,不需要客戶端做任何設置。這個特性使得透明代理非常適合不能對客戶端進行配置的時候,比如說 Android 應用等等。
- 4、透明代理(transparent proxy)啟動參數 -T。當使用透明代理時,流量將被重定向到網絡層的代理,而不需要任何客戶端配置。這使得透明代理非常適合那些無法更改客戶端行為的情況 - 代理無聊的 Android 應用程序是一個常見的例子。要設置透明代理,我們需要兩個新的組件。第一個是重定向機制,可以將目的地為 Internet 上的服務器的TCP連接透明地重新路由到偵聽代理服務器。這通常采用與代理服務器相同的主機上的防火墻形式。比如 Linux 下的 iptables, 或者 OSX 中的 pf,一旦客戶端初始化了連接,它將作出一個普通的 HTTP 請求(注意,這種請求就是客戶端不知道代理存在)請求頭中沒有scheme(比如http:// 或者 https:// ), 也沒有主機名(比如 example.com )我們如何知道上游的主機是哪個呢?路由機制執行了重定向,但保持了原始的目的地址。
iptable 設置:
????????iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 8080
????????iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 443 -j REDIRECT --to-port 8080
啟用透明代理:mitmproxy -T
啟用 SOCKS5 代理
- 5、socks5 proxy 啟動參數 --socks。采用 socks 協議的代理服務器
但這些工作模式針對 mitmproxy 來說似乎不大常用,故本文僅討論正向代理模式。
mitmproxy?是一款 Python 語言開發的開源中間人代理神器,支持 SSL,支持透明代理、反向代理,支持流量錄制回放,支持自定義腳本等。功能上同 Windows中的?Fiddler?有些類似,但mitmproxy是一款console程序,沒有GUI界面,不過用起來還算方便。使用mitmproxy可以很方便的過濾、攔截、修改任意經過代理的HTTP請求/響應數據包,甚至可以利用它的scripting API,編寫腳本達到自動攔截修改HTTP數據的目的。
# test.py def response(flow):flow.response.headers["BOOM"] = "boom!boom!boom!"上面的腳本會在所有經過代理的Http響應包頭里面加上一個名為BOOM的header。用mitmproxy -s 'test.py'命令啟動mitmproxy,curl驗證結果發現的確多了一個BOOM頭。
$ http_proxy=localhost:8080 curl -I 'httpbin.org/get' HTTP/1.1 200 OK Server: nginx Date: Thu, 03 Nov 2016 09:02:04 GMT Content-Type: application/json Content-Length: 186 Connection: keep-alive Access-Control-Allow-Origin: * Access-Control-Allow-Credentials: true BOOM: boom!boom!boom! ...mitmweb 抓包截圖:
顯然 mitmproxy 腳本能做的事情遠不止這些,結合Python強大的功能,可以衍生出很多應用途徑。除此之外,mitmproxy還提供了強大的API,在這些API的基礎上,完全可以自己定制一個實現了特殊功能的專屬代理服務器。
經過性能測試,發現 mitmproxy 的效率并不是特別高。如果只是用于調試目的那還好,但如果要用到生產環境,有大量并發請求通過代理的時候,性能還是稍微差點。
2. 工作原理
mitmproxy 實現原理:
mitmproxy 工作步驟:
3. 安裝
“安裝 mitmproxy”這句話是有歧義的,既可以指“安裝 mitmproxy 工具”,也可以指“安裝 python 的 mitmproxy 包”,注意后者是包含前者的。
如果只是拿 mitmproxy 做一個替代 fiddler 的工具,沒有什么定制化的需求,那完全只需要“安裝 mitmproxy 工具”即可,去?mitmproxy 官網?上下載一個 installer 便可開箱即用,不需要提前準備好 python 開發環境。但顯然,這不是這里要討論的,我們需要的是“安裝 python 的 mitmproxy 包”。
安裝 python 的 mitmproxy 包除了會得到 mitmproxy 工具外,還會得到開發定制腳本所需要的包依賴,其安裝過程并不復雜。
首先需要安裝好 python,版本需要不低于 3.6,且安裝了附帶的包管理工具 pip。不同操作系統安裝 python 3 的方式不一,參考 python 的下載頁,這里不做展開,假設你已經準備好這樣的環境了。
3.1 Linux 安裝
在 linux 中:sudo pip3 install mitmproxy
一旦用戶安裝上了mitmproxy,那么,在python的dist-packages目錄下就會有一個libmproxy的目錄。點擊進去,如下圖所示。
有很多文件,里面最關鍵的一個文件就是flow.py。里面有從客戶端請求的類Request,也有從服務器返回的可以操作的類Response。并且都實現了一些方法可以調用請求或回復的數據,包括請求url,header,body,content等。具體如下:
Request的一些方法:
get_query() :得到請求的url的參數,被存放成了字典。 set_query(odict) :設置請求的url參數,參數是字典。 get_url() :請求的url。 set_url(url) :設置url的域。 get_cookies() :得到請求的cookie。 headers :請求的header的字典。 content :請求的內容,如果請求時post,那么content就是指代post的參數。Response的一些方法如下:
Headers :返回的header的字典。 Code :返回數據包的狀態,比如200,301之類的狀態。 Httpversion :http版本。3.2 windows 和 mac 安裝
在 windows 中,以管理員身份運行 cmd 或 power shell:pip3 install mitmproxy
在 Mac 上安裝與使用 mitmproxy:https://www.cnblogs.com/LanTianYou/p/6542190.html
完成后,系統將擁有 mitmproxy、mitmdump、mitmweb 三個命令。其中?mitmproxy 命令不支持在 windows 系統中運行。
我們可以拿 mitmdump 測試一下安裝是否成功,執行:mitmdump --version
應當可以看到類似于這樣的輸出:
Mitmproxy: 4.0.1 Python: ???3.6.5 OpenSSL: ??OpenSSL 1.1.0h ?27 Mar 2018 Platform: ?Windows-10-10.0.16299-SP03.3 安裝 CA 證書
官方提供的安裝方式:https://docs.mitmproxy.org/stable/concepts-certificates
************ 要安裝證書,必須先啟動,可以先看下面的啟動,在回過來看安裝證書。************
方法1:
對于mitmproxy 來說,如果想要截獲HTTPS請求,就得解決證書認證的問題,就需要設置CA證書,因此需要在通信發生的客戶端安裝證書,并且設置為受信任的根證書頒布機構。而mitmproxy安裝后就會提供一套CA證書,只要客戶信任了此證書即可。
當我們初次運行 mitmproxy 或 mitmdump 時,會在當前目錄下生成 ~/.mitmproxy文件夾,其中該文件下包含4個文件,這就是我們要的證書了。
localhost:app zhangtao$ mitmdump
Proxy server listening at http://*:8080
文件說明:
- mitmproxy-ca.pem?PEM格式的證書私鑰
- mitmproxy-ca-cert.pem?PEM格式證書,適用于大多數非Windows平臺
- mitmproxy-ca-cert.p12?PKCS12格式的證書,適用于大多數Windows平臺
- mitmproxy-ca-cert.cer?與 mitmproxy-ca-cert.pem 相同(只是后綴名不同),適用于大部分Android平臺
- mitmproxy-dhparam.pem?PEM格式的秘鑰文件,用于增強SSL安全性。
方法2:
配置 瀏覽器 和 手機?
- 1.電腦和手機連接到同一個 wifi 環境下?
- 2.修改瀏覽器代理服務器地址為運行 mitmproxy 的那臺機器(本機)ip地址,端口設定為你啟動 mitmproxy 時設定的端口,如果沒有指定就使用 8080?
- 3.手機做同樣操作,修改wifi鏈接代理為 【手動】,然后指定 ip 地址和端口?
以手機配置為例:?
1. 設置服務器、端口?
2 . 安裝 CA 證書 (只需要安裝一次證書即可)
第一次使用 mitmproxy 的時候需要安裝 CA 證書。在手機 或 pc 機上打開瀏覽器訪問 http://mitm.it 這個地址,選擇你當前平臺的圖標,點擊安裝證書。選擇你當前平臺的圖標,點擊安裝證書。
在下圖中點擊Apple安裝證書。
在各端配置好代理后,訪問:http://mitm.it?下載 CA 證書,并按照以下方式進行驗證。
iOS
- 打開設置-無線局域網-所連接的Wifi-配置代理-手動
- 填上代理服務器IP和端口
- 打開設置-通用-關于本機-證書信任設置
- 開啟mitmproxy選項。
Android
- 打開設置-WLAN-長按所連接的網絡-修改網絡-高級選項-手動
- 填入代理服務器IP和端口
- 打開設置-安全-信任的憑據
- 查看安裝的證書是否存在
macOS
- 打開系統配置(System Preferences.app)- 網絡(Network)- 高級(Advanced)- 代理(Proxies)- Web Proxy(HTTP)和Secure Web Proxy(HTTPS)
- 填上代理服務器IP和端口
- 打開Keychain Access.app
- 選擇login(Keychains)和Certificates(Category)中找到mitmproxy
- 點擊mitmproxy,在Trust中選擇Always Trust
4. 運行啟動(啟動 mitmproxy 三種方式)
在完成 mitmproxy 的安裝之后,mitm 提供的三個命令。要啟動 mitmproxy, 用 mitmproxy、mitmdump、mitmweb 這三個命令中的任意一個即可,這三個命令功能一致,且都可以加載自定義腳本,唯一的區別是交互界面的不同。
其中?mitmproxy 命令不支持在 windows 系統中運行。
- mitmproxy 會提供一個在終端下的圖形界面,具有修改請求和響應,流量重放等功能,具體操作方式有點 vim 的風格
- mitmdump 可設定規則保存或重放請求和響應,mitmdump 的特點是支持 inline 腳本,由于擁有可以修改 request 和 response 中每一個細節的能力,批量測試,劫持等都可以輕松實現
- mitmweb 提供的一個簡單 web 界面,簡單實用,初學者或者對終端命令行不熟悉的可以用 mitmweb 界面
4.1?mitmproxy 直接啟動
mitmproxy 命令啟動后,會提供一個命令行界面,用戶可以實時看到發生的請求,并通過命令過濾請求,查看請求數據。形如:
mitmproxy 基本使用
可以使用?mitmproxy -h?來查看 mitmproxy 的參數及使用方法。常用的幾個命令參數:
- -p PORT, --port PORT?設置 mitmproxy 的代理端口
- -T, --transparent?設置透明代理
- --socks?設置 SOCKS5 代理
- -s "script.py --bar", --script "script.py --bar"?來執行腳本,通過雙引號來添加參數
- -t FILTER?過濾參數
在 mitmproxy 命令模式下,在終端顯示請求流,可以通過?Shift?+???來開啟幫助查看當前頁面可用的命令。
基本快捷鍵b 保存請求 / 返回頭 C 將請求內容導出到粘貼板,按 C 之后會有選擇導出哪一部分 d 刪除 flow 請求 E 將 flow 導出到文件 w 保存所有 flow 或者該 flow W 保存該 flow L 加載保存的 Flow m 添加 / 取消 Mark 標記,會在請求列表該請求前添加紅色圓圈 z 清空 flow list 和 eventlog / 在詳情界面,可以使用 / 來搜索,大小寫敏感 i 開啟 interception pattern 攔截請求移動j, k 上下 h, l 左右 g, G go to beginning, end space 下一頁 pg up/down 上一頁 / 下一頁 ctrl+b/ctrl+f 上一頁 / 下一頁 arrows 箭頭 上下左右全局快捷鍵 q 退出,或者后退 Q 不提示直接退出- mitmproxy的按鍵操作說明
| q | 退出(相當于返回鍵,可一級一級返回) |
| d | 刪除當前(黃色箭頭)指向的鏈接 |
| D | 恢復剛才刪除的請求 |
| G | 跳到最新一個請求 |
| g | 跳到第一個請求 |
| C | 清空控制臺(C是大寫) |
| i | 可輸入需要攔截的文件或者域名(逗號需要用\來做轉譯,栗子:feezu.cn) |
| a | 放行請求 |
| A | 放行所有請求 |
| ? | 查看界面幫助信息 |
| ^ v | 上下箭頭移動光標 |
| enter | 查看光標所在列的內容 |
| tab | 分別查看 Request 和 Response 的詳細信息 |
| / | 搜索body里的內容 |
| esc | 退出編輯 |
| e | 進入編輯模式 |
同樣在 mitmproxy 中不同界面中使用???可以獲取不同的幫助,在請求詳細信息中 m 快捷鍵的作用就完全不同 m 在響應結果中,輸入 m 可以選擇 body 的呈現方式,比如 json,xml 等 e 編輯請求、響應 a 發送編輯后的請求、響應。 因此在熟悉使用???之后,多次使用并熟悉快捷鍵即可。就如同在 Linux 下要熟悉使用 man 命令一樣,在不懂地方請教 Google 一樣,應該是習慣性動作。多次反復之后就會變得非常數量。
4.2?mitmweb 命令啟動
mitmweb?命令啟動后,會提供一個 web 界面,用戶可以實時看到發生的請求,并通過 GUI 交互來過濾請求,查看請求數據。形如:
4.3?mitmdump 命令啟動
mitmdump?命令啟動后——你應該猜到了,沒有界面,程序默默運行,所以 mitmdump 無法提供過濾請求、查看數據的功能,只能結合自定義腳本,默默工作。
4.4?啟動示例
由于?mitmproxy?命令的交互操作稍顯繁雜且不支持 windows 系統,而我們主要的使用方式又是載入自定義腳本,并不需要交互,所以原則上說只需要?mitmdump?即可,但考慮到有交互界面可以更方便排查錯誤,所以這里以?mitmweb?命令為例。實際使用中可以根據情況選擇任何一個命令。
啟動 mitmproxy:mitmweb
應當看到如下輸出:
Web server listening at http://127.0.0.1:8081/ Proxy server listening at http://*:8080mitmproxy 綁定了 *:8080 作為代理端口,并提供了一個 web 交互界面在 127.0.0.1:8081。
Chrome 流量走?mitmproxy
現在可以測試一下代理,讓 Chrome 以 mitmproxy 為代理并忽略證書錯誤。為了不影響平時正常使用,我們不去改 Chrome 的配置,而是通過命令行帶參數起一個 Chrome。如果你不使用 Chrome 而是其他瀏覽器,也可以搜一下對應的啟動參數是什么,應該不會有什么坑。此外示例僅以 windows 系統為例,因為使用 linux 或 mac 開發的同學應該更熟悉命令行的使用才對,應當能自行推導出在各自環境中對應的操作。
由于 Chrome 要開始赴湯蹈火走代理了,為了方便繼續在 web 界面上與 mitmproxy 交互,我們委屈求全使用 Edge 或其他瀏覽器打開 127.0.0.1:8081。插一句,我用 Edge 實在是因為機器上沒其他瀏覽器了(IE 不算),Edge 有一個默認禁止訪問回環地址的狗屁設定,詳見解決方案。
接下來關閉所有 Chrome 窗口,否則命令行啟動時的附加參數將失效。打開 cmd,執行:"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --proxy-server=127.0.0.1:8080 -ignore-certificate-errors
或者
cd C:\Program Files (x86)\Google\Chrome\Application
chrome.exe --proxy-server=127.0.0.1:8080 -ignore-certificate-errors
前面那一長串是 Chrome 的的安裝路徑,應當根據系統實際情況修改,后面兩參數設置了代理地址并強制忽略掉證書錯誤。用 Chrome 打開一個網站,可以看到:
同時在 Edge 上可以看到:
5. 編寫并執行?Python 腳本
重點:一個完整的 HTTP flow 會依次觸發 requestheaders、request、responseheaders 和 response。
完成了上述工作,我們已經具備了操作 mitmproxy 的基本能力 了。接下來開始開發自定義腳本,這才是 mitmproxy 真正強大的地方。使用 -s 參數 制定 inline 腳本:
mitmproxy -s script.py比如將指定 url 的請求指向新的地址
用于調試 Android 或者 iOS 客戶端,打包比較復雜的時候,強行將客戶端請求從線上地址指向本地調試地址。可以使用?mitmproxy scripting API?mitmproxy 提供的事件驅動接口。
加上將線上地址,指向本地 8085 端口,文件為?redirect_request.py
#!/usr/bin/env python # -*- coding: UTF-8 -*- def request(flow):if flow.request.pretty_host == 'api.github.com':flow.request.host = '127.0.0.1'flow.request.port = 8085則使用?mitmweb -s redirect_request.py?來調用此腳本,則通過 mitm 的請求都會指向本地 http://127.0.0.1:8085。
更多的腳本可以參考
腳本編寫遵循的規定( 2 種方法 )
? ? ? ? 腳本的編寫需要遵循 mitmproxy 規定的套路,這樣的套路有兩個。
方法 1:定義若干函數
方法 1 (?定義若干函數,這些函數實現了某些 mitmproxy 提供的事件 ):
編寫一個 py 文件供 mitmproxy 加載,文件中定義了若干函數,這些函數實現了某些 mitmproxy 提供的事件,mitmproxy 會在某個事件發生時調用對應的函數,形如:
import mitmproxy.http from mitmproxy import ctxnum = 0def request(flow: mitmproxy.http.HTTPFlow):global numnum = num + 1ctx.log.info("We've seen %d flows" % num)官網截圖:
http 協議 事件 (?examples/addons/events-http-specific.py ):
"""HTTP-specific events.""" import mitmproxy.httpclass Events:def http_connect(self, flow: mitmproxy.http.HTTPFlow):"""An HTTP CONNECT request was received. Setting a non 2xx response onthe flow will return the response to the client abort theconnection. CONNECT requests and responses do not generate the usualHTTP handler events. CONNECT requests are only valid in regular andupstream proxy modes."""def requestheaders(self, flow: mitmproxy.http.HTTPFlow):"""HTTP request headers were successfully read. At this point, the bodyis empty."""def request(self, flow: mitmproxy.http.HTTPFlow):"""The full HTTP request has been read."""def responseheaders(self, flow: mitmproxy.http.HTTPFlow):"""HTTP response headers were successfully read. At this point, the bodyis empty."""def response(self, flow: mitmproxy.http.HTTPFlow):"""The full HTTP response has been read."""def error(self, flow: mitmproxy.http.HTTPFlow):"""An HTTP error has occurred, e.g. invalid server responses, orinterrupted connections. This is distinct from a valid server HTTPerror response, which is simply a response with an HTTP error code."""方法 2:定義一個類
第二個是 ( 定義一個 類,類里面的方法實現了某些 mitmproxy 提供的事件):
官網說明:https://docs.mitmproxy.org/stable/addons-overview/
編寫一個 py 文件供 mitmproxy 加載,文件定義了變量 addons,addons 是個數組,每個元素是一個類實例,這些類有若干方法,這些方法實現了某些 mitmproxy 提供的事件,mitmproxy 會在某個事件發生時調用對應的方法。這些類,稱為一個個?addon,比如一個叫 Counter 的 addon:
import mitmproxy.http from mitmproxy import ctxclass Counter:def __init__(self):self.num = 0def request(self, flow: mitmproxy.http.HTTPFlow):self.num = self.num + 1ctx.log.info("We've seen %d flows" % self.num)addons = [Counter() ]這里強烈建議使用第二種套路,直覺上就會感覺第二種套路更為先進,使用會更方便也更容易管理和拓展。況且這也是官方內置的一些 addon?的實現方式。
我們將上面第二種套路的示例代碼存為 addons.py,再重新啟動 mitmproxy:mitmweb -s addons.py
當瀏覽器使用代理進行訪問時,就應該能看到控制臺里有類似這樣的日志:
Web server listening at http://127.0.0.1:8081/ Loading script addons.py Proxy server listening at http://*:8080 We've seen 1 flows …… …… We've seen 2 flows …… We've seen 3 flows …… We've seen 4 flows …… …… We've seen 5 flows ……這就說明自定義腳本生效了。
執行腳本的三種方法
在 Python 腳本中使用 mitmproxy:https://www.coder.work/article/3121077
How to shutdown dumpmaster (mitmproxy) programmatically? :https://stackoverflow.com/questions/57178896/how-to-shutdown-dumpmaster-mitmproxy-programmatically
mitmproxy 的使用:https://www.jianshu.com/p/f6af1d57186e
方法1. 使用?mitmproxy -s 命令行啟動。
示例:mitmproxy -s sample.py?
sample.py?
import mitmproxy.http from mitmproxy import ctxclass Counter:def __init__(self):self.num = 0def request(self, flow: mitmproxy.http.HTTPFlow):self.num = self.num + 1ctx.log.info("We've seen %d flows" % self.num)addons = [Counter() ]方法2. 使用 Python 直接執行,而無需從命令啟動
(?https://github.com/mitmproxy/mitmproxy/issues/3306 )
示例 1:
from mitmproxy import proxy, options from mitmproxy.tools.dump import DumpMaster from mitmproxy.addons import coreclass AddHeader:def __init__(self):self.num = 0def response(self, flow):self.num = self.num + 1print(self.num)flow.response.headers["count"] = str(self.num)addons = [AddHeader() ]opts = options.Options(listen_host='127.0.0.1', listen_port=9999)m = DumpMaster(options=opts) m.addons.add(*addons) print(m.addons) # m.addons.add(core.Core())try:m.run() except KeyboardInterrupt:m.shutdown()示例 2:
# -*- coding: utf-8 -*-import json import datetime from mitmproxy.options import Options from mitmproxy.tools.dump import DumpMaster from mitmproxy import ctx, httpclass TTAddon(object):def __init__(self):self._temp = Nonepassdef request(self, flow: http.HTTPFlow):self._temp = None# do something in responser_url = flow.request.urlpassdef response(self, flow: http.HTTPFlow):self._temp = None# do something in responser_url = flow.request.urlif 'api/news/feed/v88/' in r_url and 'category=news_car' in r_url:print(r_url)resp = flow.response.textresp_dict = json.loads(resp)print(json.dumps(resp_dict, ensure_ascii=False, indent=4))passclass ProxyMaster(DumpMaster):def __init__(self, *args, **kwargs):super().__init__(*args, **kwargs)def start_run(self):try:DumpMaster.run(self)except KeyboardInterrupt:self.shutdown()if __name__ == "__main__":opts = Options(listen_host='0.0.0.0', listen_port=8080, http2=True)# master = ProxyMaster(options=opts, with_termlog=False, with_dumper=False)master = ProxyMaster(options=opts, with_termlog=True, with_dumper=False)master.addons.add((TTAddon(), ))master.start_run()方法3. 使用第三方庫 mitmdump? 運行 mitmproxy
(?mitmdump?是對?mitmproxy?的簡單封裝,實現以編程的方式運行 mitmproxy 服務 )
pypi 地址( 示例代碼?):https://pypi.org/project/mitmdump/? ? ?安裝:pip install mitmdump
示例 1:
# sample1.pyfrom mitmproxy.http import HTTPFlow from mitmdump import DumpMaster, Optionsclass AddHeader:def __init__(self):self.num = 0def response(self, flow: HTTPFlow):self.num = self.num + 1flow.response.headers["count"] = str(self.num)addons = [AddHeader() ]if __name__ == '__main__':opts = Options(listen_host='0.0.0.0', listen_port=8888, scripts=__file__)m = DumpMaster(opts)m.run()示例 2:
# sample2.pyfrom mitmproxy import flowfilter, ctx, addonmanager from mitmproxy.http import HTTPFlow from mitmdump import DumpMaster, Optionsclass FilterFlow:def __init__(self):self.filter = Nonedef load(self, loader: addonmanager.Loader):self.filter = flowfilter.parse(ctx.options.dumper_filter)def request(self, flow: HTTPFlow):if flowfilter.match(self.filter, flow):print(flow.request.url)def response(self, flow: HTTPFlow):if flowfilter.match(self.filter, flow):print(flow.response.headers)addons = [FilterFlow() ]if __name__ == '__main__':opts = Options(listen_host='0.0.0.0', listen_port=8888, scripts=None, dumper_filter='~m POST',flow_detail=1, termlog_verbosity='info', show_clientconnect_log=False)m = DumpMaster(opts)# It's necessary if scripts parameter is None# 如果你的 scripts 參數為 None,則下方加載插件的語句是必須要有的m.addons.add(*addons)m.run()更多官網示例:https://docs.mitmproxy.org/stable/addons-examples/
示例
mitmproxy 啟動時可以使用 -s 參數導入外部的腳本進行攔截處理,比如我要修改每個鏈接的響應頭的python腳本編寫如下:
1、簡單方法
from mitmproxy import httpdef response(flow: http.HTTPFlow) -> None:flow.response.headers["server"] = "nginx"2、使用類
class ModifyHeader:def response(self, flow):flow.response.headers["serverr"] = "nginx"def start():return ModifyHeader()保存為 modifyheader.py。然后啟動 mitmdump -s?modifyheader.py,就會把代理抓到包的每個響應頭的Server都改成“nginx”
官方參考例子:https://github.com/mitmproxy/mitmproxy/tree/master/examples
編寫腳本的話,主要用到的有兩個東西
? ? - Event
? ? - API
1. Event 事件
? ? ? ? 事件里面有3個事件是比較重要的
? ? ? ? ? ? ? ? start? ? ? ? ? ? ? ? ? 啟動的時候被調用,會替換當前的插件,可以用此事件注冊過濾器.
? ? ? ? ? ? ? ? request(flow)? ? 當發送請求時,被調用.
? ? ? ? ? ? ? ? response(flow) 當接收到回復時被調用.
2. API
? ? ? ? 三個比較重要的數據結構
? ? ? ? ? ? ? ? mitmproxy.models.http.HTTPRequest
? ? ? ? ? ? ? ? mitmproxy.models.http.HTTPResponse
? ? ? ? ? ? ? ? mitmproxy.models.http.HTTPFlow
在編寫腳本的時候,如果不知道該怎么寫,傳過來的參數里面有什么,去 (https://docs.mitmproxy.org/stable) 查看這些就對了.
先上代碼:頭腦王者即時顯示答案腳本
#!/usr/bin/env python #coding=utf-8 import sys import json from mitmproxy import flowfilter from pymongo import MongoClient reload(sys) sys.setdefaultencoding('utf-8')''' 頭腦王者即時顯示答案腳本 '''class TNWZ:'''從抓包可以看到 問題包的鏈接最后是 findQuiz'''def __init__(self):#添加一個過濾器,只處理問題包self.filter = flowfilter.parse('~u findQuiz')#連接答案數據庫self.conn = MongoClient('localhost', 27017)self.db = self.conn.tnwzself.answer_set = self.db.quizzesdef request(self, flow):'''演示request事件效果, 請求的時候輸出提示:param flow: :return: '''if flowfilter.match(self.filter,flow):print(u'準備請求答案')def responseheaders(self, flow):'''演示responseheaders事件效果, 添加頭信息:param flow: :return: '''if flowfilter.match(self.filter, flow):flow.response.headers['Cache-Control'] = 'no-cache'flow.response.headers['Pragma'] = 'no-cache'def response(self, flow):'''HTTPEvent 下面所有事件參數都是 flow 類型 HTTPFlow可以在API下面查到 HTTPFlow, 下面有一個屬性response 類型 TTPResponseHTTPResponse 有個屬性為 content 就是response在內容,更多屬性可以查看 文檔:param flow: :return: '''if flowfilter.match(self.filter, flow):#匹配上后證明抓到的是問題了, 查答案data = flow.response.contentquiz = json.loads(data)#獲取問題question = quiz['quiz']print(question)#獲取答案answer = self.answer_set.find_one({"quiz":question})if answer is None:print('no answer')else:answerIndex = int(answer['answer'])-1options = answer['options']print(options[answerIndex])#這里簡單演示下start事件 def start():return TNWZ()使用方法:mitmdump -s quiz.py
啟動后也可以編輯腳本文件,mitmdump會自動重新加載不需要重新運行命令,本來是寫了一個頭腦王者自動抓問題找答案,結果游戲被封了,只在本地模擬下
是不是很簡單, 如果還不夠,可以考慮,在發送答案的時候, 攔截請求,然后替換為標準答案再發送到服務器,是不是很給力。
6. 事件
上述的腳本估計不用我解釋相信大家也看明白了,就是當 request 發生時,計數器加一,并打印日志。這里對應的是 request 事件,那攏共有哪些事件呢?不多,也不少,這里詳細介紹一下。
事件針對不同生命周期分為 5 類。“生命周期”這里指在哪一個層面看待事件,舉例來說,同樣是一次 web 請求,我可以理解為“HTTP 請求 -> HTTP 響應”的過程,也可以理解為“TCP 連接 -> TCP 通信 -> TCP 斷開”的過程。那么,如果我想拒絕來個某個 IP 的客戶端請求,應當注冊函數到針對 TCP 生命周期 的?tcp_start?事件,又或者,我想阻斷對某個特定域名的請求時,則應當注冊函數到針對 HTTP 聲明周期的?http_connect?事件。其他情況同理。
下面一段估計會又臭又長,如果你沒有耐心看完,那至少看掉針對 HTTP 生命周期的事件,然后跳到示例。
1. 針對 HTTP 生命周期
def http_connect(self, flow: mitmproxy.http.HTTPFlow):
? ? ? ? (Called when) 收到了來自客戶端的 HTTP CONNECT 請求。在 flow 上設置非 2xx 響應將返回該響應并斷開連接。CONNECT 不是常用的 HTTP 請求方法,目的是與服務器建立代理連接,僅是 client 與 proxy 的之間的交流,所以 CONNECT 請求不會觸發 request、response 等其他常規的 HTTP 事件。
def requestheaders(self, flow: mitmproxy.http.HTTPFlow):
? ? ? ? (Called when) 來自客戶端的 HTTP 請求的頭部被成功讀取。此時 flow 中的 request 的 body 是空的。
def request(self, flow: mitmproxy.http.HTTPFlow):
? ? ? ? (Called when) 來自客戶端的 HTTP 請求被成功完整讀取。
def responseheaders(self, flow: mitmproxy.http.HTTPFlow):
? ? ? ? (Called when) 來自服務端的 HTTP 響應的頭部被成功讀取。此時 flow 中的 response 的 body 是空的。
def response(self, flow: mitmproxy.http.HTTPFlow):
? ? ? ? (Called when) 來自服務端端的 HTTP 響應被成功完整讀取。
def error(self, flow: mitmproxy.http.HTTPFlow):
? ? ? ? (Called when) 發生了一個 HTTP 錯誤。比如無效的服務端響應、連接斷開等。注意與“有效的 HTTP 錯誤返回”不是一回事,后者是一個正確的服務端響應,只是 HTTP code 表示錯誤而已。
2. 針對 TCP 生命周期
def tcp_start(self, flow: mitmproxy.tcp.TCPFlow):
? ? ? ? (Called when) 建立了一個 TCP 連接。
def tcp_message(self, flow: mitmproxy.tcp.TCPFlow):
? ? ? ? (Called when) TCP 連接收到了一條消息,最近一條消息存于 flow.messages[-1]。消息是可修改的。
def tcp_error(self, flow: mitmproxy.tcp.TCPFlow):
? ? ? ? (Called when) 發生了 TCP 錯誤。
def tcp_end(self, flow: mitmproxy.tcp.TCPFlow):
? ? ? ? (Called when) TCP 連接關閉。
3. 針對 Websocket 生命周期
def websocket_handshake(self, flow: mitmproxy.http.HTTPFlow):
? ? ? ? (Called when) 客戶端試圖建立一個 websocket 連接。可以通過控制 HTTP 頭部中針對 websocket 的條目來改變握手行為。flow 的 request 屬性保證是非空的的。
def websocket_start(self, flow: mitmproxy.websocket.WebSocketFlow):
? ? ? ? (Called when) 建立了一個 websocket 連接。
def websocket_message(self, flow: mitmproxy.websocket.WebSocketFlow):
? ? ? ? (Called when) 收到一條來自客戶端或服務端的 websocket 消息。最近一條消息存于 flow.messages[-1]。消息是可修改的。目前有兩種消息類型,對應 BINARY 類型的 frame 或 TEXT 類型的 frame。
def websocket_error(self, flow: mitmproxy.websocket.WebSocketFlow):
? ? ? ? (Called when) 發生了 websocket 錯誤。
def websocket_end(self, flow: mitmproxy.websocket.WebSocketFlow):
? ? ? ? (Called when) websocket 連接關閉。
4. 針對網絡連接生命周期
def clientconnect(self, layer: mitmproxy.proxy.protocol.Layer):
? ? ? ? (Called when) 客戶端連接到了 mitmproxy。注意一條連接可能對應多個 HTTP 請求。
def clientdisconnect(self, layer: mitmproxy.proxy.protocol.Layer):
? ? ? ? (Called when) 客戶端斷開了和 mitmproxy 的連接。
def serverconnect(self, conn: mitmproxy.connections.ServerConnection):
? ? ? ? (Called when) mitmproxy 連接到了服務端。注意一條連接可能對應多個 HTTP 請求。
def serverdisconnect(self, conn: mitmproxy.connections.ServerConnection):
? ? ? ? (Called when) mitmproxy 斷開了和服務端的連接。
def next_layer(self, layer: mitmproxy.proxy.protocol.Layer):
? ? ? ? (Called when) 網絡 layer 發生切換。你可以通過返回一個新的 layer 對象來改變將被使用的 layer。詳見?layer 的定義。
5. 通用生命周期
def configure(self, updated: typing.Set[str]):
? ? ? ? (Called when) 配置發生變化。updated 參數是一個類似集合的對象,包含了所有變化了的選項。在 mitmproxy 啟動時,該事件也會觸發,且 updated 包含所有選項。
def done(self):
? ? ? ? (Called when) addon 關閉或被移除,又或者 mitmproxy 本身關閉。由于會先等事件循環終止后再觸發該事件,所以這是一個 addon 可以看見的最后一個事件。由于此時 log 也已經關閉,所以此時調用 log 函數沒有任何輸出。
def load(self, entry: mitmproxy.addonmanager.Loader):
? ? ? ? (Called when) addon 第一次加載時。entry 參數是一個 Loader 對象,包含有添加選項、命令的方法。這里是 addon 配置它自己的地方。
def log(self, entry: mitmproxy.log.LogEntry):
? ? ? ? (Called when) 通過 mitmproxy.ctx.log 產生了一條新日志。小心不要在這個事件內打日志,否則會造成死循環。
def running(self):
? ? ? ? (Called when) mitmproxy 完全啟動并開始運行。此時,mitmproxy 已經綁定了端口,所有的 addon 都被加載了。
def update(self, flows: typing.Sequence[mitmproxy.flow.Flow]):
? ? ? ? (Called when) 一個或多個 flow 對象被修改了,通常是來自一個不同的 addon。
From:https://www.cnblogs.com/c-x-a/p/9753526.html
主要 events 一覽表
需要修改各種事件內容時,重寫以下對應方法,這里主要用的是request、response方法
import typing
import mitmproxy.addonmanager
import mitmproxy.connections
import mitmproxy.http
import mitmproxy.log
import mitmproxy.tcp
import mitmproxy.websocket
import mitmproxy.proxy.protocol
7. 針對 http,常用的 API
http.HTTPFlow 實例 flow
# http.HTTPFlow 實例 flow flow.request.headers # 獲取所有頭信息,包含Host、User-Agent、Content-type等字段 flow.request.url # 完整的請求地址,包含域名及請求參數,但是不包含放在body里面的請求參數 flow.request.pretty_url # 同flow.request.url目前沒看出什么差別 flow.request.host # 域名 flow.request.method # 請求方式。POST、GET等 flow.request.scheme # 什么請求 ,如 https flow.request.path # 請求的路徑,url除域名之外的內容 flow.request.get_text() # 請求中body內容,有一些http會把請求參數放在body里面,那么可通過此方法獲取,返回字典類型 flow.request.query # 返回MultiDictView類型的數據,url直接帶的鍵值參數 flow.request.get_content() # bytes,結果如flow.request.get_text() flow.request.raw_content # bytes,結果如flow.request.get_content() flow.request.urlencoded_form # MultiDictView,content-type:application/x-www-form-urlencoded 時的請求參數,不包含url直接帶的鍵值參數 flow.request.multipart_form # MultiDictView,content-type:multipart/form-data 時的請求參數,不包含url直接帶的鍵值參數以上均為獲取 request 信息的一些常用方法,對于 response,同理
flow.response.status_code # 狀態碼 flow.response.text # 返回內容,已解碼 flow.response.content # 返回內容,二進制 flow.response.setText() # 修改返回內容,不需要轉碼以上為不完全列舉
示例
修改response內容,這里是服務器已經有返回了結果,再更改,也可以做不經過服務器處理,直接返回,看需求
def response(flow:http.HTTPFlow)-> None:
# 特定接口需要返回1001結果
interface_list=["page/**"] #由于涉及公司隱私問題,隱藏實際的接口
8. 示 例
估計看了那么多的事件你已經暈了,正常,鬼才會記得那么多事件。事實上考慮到 mitmproxy 的實際使用場景,大多數情況下我們只會用到針對 HTTP 生命周期的幾個事件。再精簡一點,甚至只需要用到?http_connect、request、response?三個事件就能完成大多數需求了。
這里以一個稍微有點黑色幽默的例子,覆蓋這三個事件,展示如果利用 mitmproxy 工作。
需求是這樣的:
第一個需求需要篡改客戶端請求,所以實現一個?request?事件:
def request(self, flow: mitmproxy.http.HTTPFlow):# 忽略非百度搜索地址if flow.request.host != "www.baidu.com" or not flow.request.path.startswith("/s"):return# 確認請求參數中有搜索詞if "wd" not in flow.request.query.keys():ctx.log.warn("can not get search word from %s" % flow.request.pretty_url)return# 輸出原始的搜索詞ctx.log.info("catch search word: %s" % flow.request.query.get("wd"))# 替換搜索詞為“360搜索”flow.request.query.set_all("wd", ["360搜索"])第二個需求需要篡改服務端響應,所以實現一個?response?事件:
def response(self, flow: mitmproxy.http.HTTPFlow):# 忽略非 360 搜索地址if flow.request.host != "www.so.com":return# 將響應中所有“搜索”替換為“請使用谷歌”text = flow.response.get_text()text = text.replace("搜索", "請使用谷歌")flow.response.set_text(text)第三個需求需要拒絕客戶端請求,所以實現一個?http_connect?事件:
def http_connect(self, flow: mitmproxy.http.HTTPFlow):# 確認客戶端是想訪問 www.google.comif flow.request.host == "www.google.com":# 返回一個非 2xx 響應斷開連接flow.response = http.HTTPResponse.make(404)為了實現第四個需求,我們需要將代碼整理一下,即易于管理也易于查看。
創建一個?joker.py?文件,內容為:
import mitmproxy.http from mitmproxy import ctx, httpclass Joker:def request(self, flow: mitmproxy.http.HTTPFlow):if flow.request.host != "www.baidu.com" or not flow.request.path.startswith("/s"):returnif "wd" not in flow.request.query.keys():ctx.log.warn("can not get search word from %s" % flow.request.pretty_url)returnctx.log.info("catch search word: %s" % flow.request.query.get("wd"))flow.request.query.set_all("wd", ["360搜索"])def response(self, flow: mitmproxy.http.HTTPFlow):if flow.request.host != "www.so.com":returntext = flow.response.get_text()text = text.replace("搜索", "請使用谷歌")flow.response.set_text(text)def http_connect(self, flow: mitmproxy.http.HTTPFlow):if flow.request.host == "www.google.com":flow.response = http.HTTPResponse.make(404)創建一個?counter.py?文件,內容為:
import mitmproxy.http from mitmproxy import ctxclass Counter:def __init__(self):self.num = 0def request(self, flow: mitmproxy.http.HTTPFlow):self.num = self.num + 1ctx.log.info("We've seen %d flows" % self.num)創建一個?addons.py?文件,內容為:
import counter import jokeraddons = [counter.Counter(),joker.Joker(), ]將三個文件放在相同的文件夾,在該文件夾內啟動命令行,運行:mitmweb -s addons.py
老規矩,關閉所有 Chrome 窗口,從命令行中啟動 Chrome 并指定代理且忽略證書錯誤。
測試一下運行效果:
利用appium和mitmproxy登錄獲取cookies
環境搭建
參考我之前寫的 :
? ? windows中Appium-desktop配合夜神模擬器的使用 : https://www.cnblogs.com/c-x-a/p/9163221.html
appium
代碼 start_appium.py
#?-*-?coding:?utf-8?-*- #?@Time????:?2018/10/8?11:00 #?@Author??:?cxa #?@File????:?test.py #?@Software:?PyCharmctx from?appium?import?webdriver from?selenium.webdriver.support.ui?import?WebDriverWait from?selenium.webdriver.support?import?expected_conditions?as?EC from?selenium.webdriver.common.by?import?By import?time import?base64def?start_appium():desired_caps?=?{}desired_caps['platformName']?=?'Android'??#?設備系統desired_caps['deviceName']?=?'127.0.0.1:62001'??#?設備名稱desired_caps['appPackage']?=?'com.xxxx.xxxx'??#?測試app包名,如何獲取包名方式看上面的環境搭建。desired_caps['appActivity']?=?'com.xxxx.xxxx.xxx.xxxx'??#?測試appActivity,如何獲取包名方式看上面的環境搭建。desired_caps['platformVersion']?=?'4.4.2'??#?設備系統的安卓版本,版本不要太高,設計安全策略得外部因素。desired_caps['noReset']?=?True??#?啟動后結束后不清空應用數據desired_caps['unicodeKeyboard']?=?True??#?此兩行是為了解決字符輸入不正確的問題desired_caps['resetKeyboard']?=?True??#?運行完成后重置軟鍵盤的狀態 driver?=?webdriver.Remote('http://localhost:4723/wd/hub',?desired_caps)??#?啟動app,啟動前記得打開appium服務。wait?=?WebDriverWait(driver,?60)#設置等待事件try:btn_xpath?=?'//android.widget.Button[@resource-id="com.alicom.smartdail:id/m_nonum_confirm_btn"]'btn_node?=?wait.until(EC.presence_of_element_located((By.XPATH,?btn_xpath)))#等元素出現再繼續,最長等待時間上面設置的60s。#?btn_node=driver.find_element_by_xpath(btn_xpath)btn_node.click()except:driver.back()btn_xpath?=?'//android.widget.Button[@resource-id="com.alicom.smartdail:id/m_nonum_confirm_btn"]'btn_node?=?wait.until(EC.presence_of_element_located((By.XPATH,?btn_xpath)))#?btn_node?=?driver.find_element_by_xpath(btn_xpath)btn_node.click()#?sleep?30s#?點擊def?login_in(driver):id_xpath?=?'//android.widget.EditText[@content-desc="賬戶名輸入框"]'id_node?=?driver.find_element_by_xpath(id_xpath)id_node.clear()id_node.send_keys("test")pwd?=?str(base64.b64decode("MTIzNHF3ZXI="),?'u8')pwd_xpath?=?'//android.widget.EditText[@content-desc="密碼輸入框"]'pwd_node?=?driver.find_element_by_xpath(pwd_xpath)pwd_node.clear()pwd_node.send_keys(pwd)submit?=?"//android.widget.Button[@text='登錄']"submit_node?=?driver.find_element_by_xpath(submit)submit_node.click()time.sleep(10)if?__name__?==?'__main__':start_appium()mitmproxy
代碼 mitm_proxy_script.py
#?-*-?coding:?utf-8?-*- #?@Time????:?2018/10/8?11:00 #?@Author??:?cxa #?@File????:?mitm_proxy_script.py #?@Software:?PyCharm import?sys sitename?=?'ali'def?response(flow):request?=?flow.requestif?'.png'?in?request.url?or?'xxx.x.xxx.com'?not?in?request.url:return??#如果不在觀察的url內則返回if?'xxx.x.xxx.com'?in?request?.url:print(request?.url)cookies?=?dict(request.cookies)?#轉換cookies格式為dictif?cookies:save_cookies(repr(cookies))#如果不為空保存cookiesdef?save_cookies(cookies):sys.path.append("../")from?database?import?getcookiesgetcookies.insert_data(sitename,?cookies)?#保存cookies總結
以上是生活随笔為你收集整理的使用 mitmproxy + python 做拦截代理的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: OFD文件结构--Signature.x
- 下一篇: 一篇文章带你领悟 Frida 的精髓(基