python 制作自己的新闻_原创 | 使用wireshark+python邮件服务制作出自己的私人新闻助手...
前言
爬蟲這麼火爆,那麼我們?nèi)绾潍@得一些比較不錯(cuò)手機(jī)APP中的數(shù)據(jù)呢?今天就來教下大家使用
Wireshark進(jìn)行手機(jī)抓包,當(dāng)然方法是通用的,不論你是Fidder還是其他的抓包軟件都可以。
wireshark 是一款非常強(qiáng)大的開源免費(fèi)的網(wǎng)絡(luò)封包分析軟件,使用它可以捕獲各種網(wǎng)絡(luò)封包,顯示封包的詳細(xì)信息。
wireshark 是一款電腦軟件,如何使用它來捕獲手機(jī)網(wǎng)絡(luò)數(shù)據(jù)呢?
wireshark 的抓包原理是使用 WinPCAP 作為接口,直接與網(wǎng)卡進(jìn)行數(shù)據(jù)報(bào)文交換。我們只需要讓手機(jī)通過電腦網(wǎng)卡傳輸數(shù)據(jù)即可,當(dāng)然其他軟件的話也是一樣
需要在同一個(gè)網(wǎng)絡(luò)下才可以!!如果你是蘋果手機(jī)可能需要安裝證書請?jiān)谕ㄓ迷O(shè)置中確認(rèn)。這里主要講解安卓的抓包過程。
1.我使用360wifi使手機(jī)和電腦網(wǎng)絡(luò)達(dá)到互動(dòng)有無
360 免費(fèi) wifi 可以使用筆記本的無線網(wǎng)卡創(chuàng)建一個(gè) wifi 熱點(diǎn)?,手機(jī)連接該 wifi 即可使用電腦網(wǎng)絡(luò)上網(wǎng)。
連接之后,打開我們的wireshark
開始抓包,馬上用手機(jī)盒子點(diǎn)擊資訊,讓它刷新新聞列表
這個(gè)時(shí)候就可以看到抓包工具有協(xié)議進(jìn)行傳輸,有人可能會(huì)問360WIFI是什么鬼!因?yàn)楸緛硎且O(shè)置IP地址進(jìn)行抓包的,但是我用360wifi就相當(dāng)于電腦手機(jī)公用一個(gè)IP這樣的話就避免了設(shè)置IP地址的麻煩
第一條數(shù)據(jù)內(nèi)容是:
GET /apiNewsList.php?action=c HTTP/1.1\r\nHost: box.dwstatic.com\r\n
我們可以使用瀏覽器嘗試訪問這個(gè) url,看看是不是我們需要的數(shù)據(jù):
格式是 json 的,經(jīng)過 usc2→ansi 轉(zhuǎn)碼后:
[{"type":"newsWithHeader","tag":"headlineNews","name":"頭條"},{"type":"news","tag":"newsVideo","name":"視頻"},{"type":"news","tag":"upgradenews","name":"賽事"},{"type":"album","tag":"beautifulWoman","name":"靚照"},{"type":"album","tag":"jiongTu","name":"囧圖"},{"type":"album","tag":"wallpaper","name":"壁紙"}]
發(fā)現(xiàn)這個(gè)是盒子新聞頂部導(dǎo)航欄的一些分類,并不是我們要找的新聞列表數(shù)據(jù),那么繼續(xù)分析下個(gè)數(shù)據(jù)包:
GET /apiNewsList.php?action=l&newsTag=headlineNews&p=1 HTTP/1.1\r\nHost: box.dwstatic.com\r\n
嘗試訪問這個(gè) url:
http://box.dwstatic.com/apiNewsList.php?action=l&newsTag=headlineNews&p=1
得到數(shù)據(jù)經(jīng)過解析和格式化后:
{"totalRecord": "11225","totalPage": 449,"data": [{"id": "23727","title": "17 日測服:新增五款皮膚插畫 ","content": "9 月 17 日測服:新增五款全新皮膚插畫 ","weight": "64","time": "1442456005","readCount": "76977","ymz_id": null,"photo": "http://m1.dwstatic.com/mbox/article_img/shouji_ac75a4c4f67a7983455c6bdebd67a611.jpg","artId": "23727","commentSum": "111","commentUrl": "1509/306410856768&aid=23727&uniqid=b84ebe1a9e890dbe418dbb5b551ff291&gochannel=lol","hasVideo": 0,"destUrl": "http://box.dwstatic.com/unsupport.php?lolboxAction=toNewsDetail&newsId=23727","type": "news"}等后面的我就不列舉
沒錯(cuò)了,正是我們所需要的數(shù)據(jù)。
http://box.dwstatic.com/apiNewsList.php?action=l&newsTag=headlineNews&p=1
這個(gè)就是LOL盒子中新聞列表的數(shù)據(jù)資源。
同理如果你想要抓什么軟件只需呀像我這樣一步步搜索檢索出URL就可以啦。
那麼會(huì)Python的同學(xué)只需要使用Python做一些數(shù)據(jù)清洗可以使用requests爬區(qū)鏈接并且坐下簡單處理就可以啦,則可以完美的把自己想要的資源進(jìn)行獲取到了!當(dāng)然不知道大家有沒有忘記之前我們說的企業(yè)網(wǎng)站解決方案在哪里我們提供了如何使用寶塔面板,這個(gè)時(shí)候我們就可以使用上了!
面板右側(cè)有一個(gè)叫做計(jì)劃和任務(wù),這個(gè)可以自動(dòng)執(zhí)行程序腳本,我們把寫好的Python程序上傳到服務(wù)器上面,打開計(jì)劃任務(wù)可以設(shè)定他每天自動(dòng)執(zhí)行
這些信息都設(shè)置好點(diǎn)擊保存編輯,點(diǎn)擊執(zhí)行進(jìn)入日志,看一看是不是正常執(zhí)行
當(dāng)然這個(gè)時(shí)候你的郵箱可能會(huì)收到一個(gè)神秘的郵件就是你用Python整理后的文檔喲,每天定時(shí)發(fā)就是你自己私有的文檔助手!完美!
什么?你問我如何用Python給自己郵箱發(fā)送郵件!!
以前的文章
下篇原創(chuàng)告訴你!
記得點(diǎn)一個(gè)在看!!
總結(jié)
以上是生活随笔為你收集整理的python 制作自己的新闻_原创 | 使用wireshark+python邮件服务制作出自己的私人新闻助手...的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 软件测试网上课程设计,软件测试课程设计报
- 下一篇: 曲师大计算机系课程论文,曲师大论文要求式