网络爬虫-神器fiddler抓取app数据
才接觸爬蟲的時候,我們通常使用的是瀏覽器的開發(fā)者工具-F12里的NetWork對網(wǎng)頁進行抓包,但是這有一個缺點,就是如果網(wǎng)頁加載了很多亂七八糟的東西,比如廣告啊,各種各樣的js之類的時候,NewWork就顯得有點吃力了,我們就需要使用更強大的工具來進行抓包,我個人比較喜歡使用Fiddler,畢竟免費的好用,另外有喜歡的朋友也可以使用Charles,它只能免費使用一段時間。
這里貼出下載地址:
fiddler官網(wǎng)下載
charles官網(wǎng)下載
這里對fiddler進行測試。
安裝好之后,我們打開fiddler,然后打開瀏覽器,就可以看到,現(xiàn)在fiddler代替了我們的開發(fā)者工具,對http請求進行了抓取,這時候我們還需要進行一些設置,讓它可以抓取https請求。
注意
如果是要對app進行抓包,請將 from browser only 改為 from all processes.
下面是對app抓包的配置。
下面就需要使用真機,或者模擬器了,這里推薦一款模擬器,逍遙安卓模擬器。
傳送門 --> 逍遙安卓模擬器官網(wǎng)
下載好之后打開如下圖。
這時候需要對模擬器進行配置,真機也是同樣步驟~!
代理服務器主機名可以打開cmd輸入ipconfig進行查看,代理服務器端口號是根據(jù)你的fiddler的代理端口號對應的。完成這一項步驟后點擊保存即可。
但是現(xiàn)在還無法對手機app進行抓包,需要安裝證書,這時候打開手機自帶的瀏覽器,在地址欄輸入你的代理服務器名+端口號 ,如下圖
點擊 FiddlerRoot certificate 下載安裝證書即可。
大功告成
現(xiàn)在我們就可以對app進行抓包操作了,以酷航app為例:
可以看到 我們已經(jīng)將酷航app的查詢請求抓取下來了,可以對它進行重發(fā)以及各種花里胡哨的操作了~
但是如果還需要進一步的了解的話,比如酷航app會產(chǎn)生一個wtoken參數(shù),這個就例如網(wǎng)頁中的js加密一般,是在apk底層生成的,需要我們?nèi)ゲ东@進行模擬生成,因為這個會在服務器上進行驗證,網(wǎng)頁端的js加密token也是如出一轍,這就需要涉及到安卓的逆向工程以及反編譯了,有興趣的童鞋也可以去了解一下,需要一定的java基礎哦!
有需要幫助的童鞋可以進行留言一起探討,一起學習進步 ~!
總結
以上是生活随笔為你收集整理的网络爬虫-神器fiddler抓取app数据的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 空气净化器哪个品牌口碑好 空气净化器除甲
- 下一篇: 最新、最全开心网钓鱼外挂下载_开心网00