2017年1月份備受關注的微信小程序功能正式上線了，好多知名平臺紛紛推出了自己的微信小程序，例如大眾點評、美團外賣、京東購物。對于我們爬蟲開發者來說這絕對是好事情，意味著又多了一個數據來源，又多了一種選擇。
用過微信小程序的人都知道無論是從界面上看還是從功能上看都和普通的手機App并沒有什么差別。那么客戶端與服務端數據交互的方式是否也一樣呢？從微信小程序開發文檔上了解到，產品模式下微信小程序強制要求客戶端和服務端通過HTTPS協議進行交互（傳統的手機App并沒有這種限制），而不允許不安全的HTTP。這就意味著如果直接抓包（例如，使用Wireshark），我們看到的也是一堆亂碼（HTTPS數據是加密傳輸的），無法了解交互的接口和過程。然而這一點并不難突破。
Web協議調試神器Fiddler，它最強大的地方就是能夠抓取并明文展示HTTPS報文。它抓取HTTPS的原理是這樣的，首先Fiddler是以HTTPS代理模式工作的，當Fiddler接收到客戶端（瀏覽器）CONNECT請求時，它冒充服務端（網站）接受客戶端的請求，并回送客戶端一個偽造的證書，并冒充客戶端（瀏覽器）和真實的服務端（網站）建立連接，之后它就充當一個中間人的角色，向服務端（網站）轉發客戶端（瀏覽器）的請求數據，向客戶端（瀏覽器）轉發服務端（網站） 的應答數據。對于這個中間人來說兩邊的請都是和其直接建立的，所以兩邊發送的數據它都能解密成明文。
下面是技術人員以“京東購物”微信小程序為例，介紹如何分析、抓取一個微信小程序的數據：
1）安裝Fiddler4，啟用HTTPS抓取。并允許遠程連接。

2）手機Wifi確保和安裝Fiddler的機器在一個局域網內。并在手機Wifi里設置好Fiddler代理。
3）在微信中搜索“京東購物”，進入該小程序。
4）操作小程序，不出意外的話，就能看到Fiddler抓到的數據包。如下圖所示。

5）有過手機App抓包經驗的開發者會發現這個微信小程序的抓包分析過程其實和手機App的抓包分析過程完全一樣。技術人員分析了幾個微信小程序，發現目前微信小程序的數據基本上都沒有做什么有效的防護策略（例如 簽名機制），意味著一旦我們分析到數據接口（URL和參數）就可以輕易拿到我們想要的數據。例如京東購物的商品詳情接口，我們只需要修改其中的商品ID參數，就可以拿到不同商品詳情信息（標題、價格、規格、參數、評論、賣家信息），如下圖所示。

相信在不就的將來各廠商會意識到這個問題并加強對數據的保護，就像傳統的手機App一樣。總之，各位：“欲抓從速！”
如果您有好的想法和建議的話可以交流一下
http://cloud.yisurvey.com:9081/html/37be8794-b79e-4511-9d0a-81f082bac606.html

本文轉載自互聯網、僅供學習交流，內容版權歸原作者所有，如涉作品、版權和其他問題請聯系我們刪除處理。

特別說明：本文旨在技術交流，請勿將涉及的技術用于非法用途，否則一切后果自負。如果您覺得我們侵犯了您的合法權益，請聯系我們予以處理

總結

以上是生活随笔為你收集整理的小程序素材抓取软件_如何抓取微信小程序的数据？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。