16套爬虫实战源码
github地址:https://github.com/Jack-Cherish/python-spider#%E5%85%B6%E5%AE%83
因為一些眾所周知的原因,github的下載速度慢的讓人抓狂(幾k/s的速度還能下載失敗,,,),所以我為了方便大家已經(jīng)下載打包整理好了,有需要的同學(xué)歡迎評論區(qū)留言。
筆趣看小說下載
biqukan.py:《筆趣看》盜版小說網(wǎng)站,爬取小說工具
百度文庫免費文章下載助手_rev1
baiduwenku.py: 百度文庫word文章爬取
百度文庫免費文章下載助手_rev2
baiduwenku.py: 百度文庫word文章爬取
《帥啊》網(wǎng)帥哥圖片下載
shuaia.py: 爬取《帥啊》網(wǎng),帥哥圖片
構(gòu)建代理IP池
daili.py: 構(gòu)建代理IP池
《火影忍者》漫畫下載
carton: 使用Scrapy爬取《火影忍者》漫畫
代碼可以爬取整個《火影忍者》漫畫所有章節(jié)的內(nèi)容,保存到本地。更改地址,可以爬取其他漫畫。保存地址可以在settings.py中修改。
財務(wù)報表下載小助手
financical.py: 財務(wù)報表下載小助手
爬取的數(shù)據(jù)存入數(shù)據(jù)庫會嗎?《跟股神巴菲特學(xué)習(xí)炒股之財務(wù)報表入庫(MySQL)》也許能給你一些思路。
一小時入門網(wǎng)絡(luò)爬蟲
one_hour_spider:一小時入門Python3網(wǎng)絡(luò)爬蟲。
本次實戰(zhàn)內(nèi)容有:
網(wǎng)絡(luò)小說下載(靜態(tài)網(wǎng)站)-biqukan,優(yōu)美壁紙下載(動態(tài)網(wǎng)站)-unsplash,視頻下載
抖音App視頻下載
douyin.py:抖音App視頻下載
抖音App的視頻下載,就是普通的App爬取。
douyin_pro:抖音App視頻下載(升級版)
抖音App的視頻下載,添加視頻解析網(wǎng)站,支持無水印視頻下載,使用第三方平臺解析。
douyin:抖音App視頻下載(升級版2)
抖音App的視頻下載,添加視頻解析網(wǎng)站,支持無水印視頻下載,通過url解析,無需第三方平臺。
GEETEST驗證碼識別
geetest.py:GEETEST驗證碼識別
12306搶票小助手
12306.py:用Python搶火車票簡單代碼
可以自己慢慢豐富,蠻簡單,有爬蟲基礎(chǔ)很好操作,沒有原理說明。
百萬英雄答題輔助系統(tǒng)
baiwan:百萬英雄輔助答題
功能介紹:
服務(wù)器端,使用Python(baiwan.py)通過抓包獲得的接口獲取答題數(shù)據(jù),解析之后通過百度知道搜索接口匹配答案,將最終匹配的結(jié)果寫入文件(file.txt)。
手機抓包不會的朋友,可以看下我的早期手機APP抓包教程。
Node.js(app.js)每隔1s讀取一次file.txt文件,并將讀取結(jié)果通過socket.io推送給客戶端(index.html)。
親測答題延時在3s左右。
聲明:沒做過后端和前端,花了一天時間,現(xiàn)學(xué)現(xiàn)賣弄好的,javascript也是現(xiàn)看現(xiàn)用,百度的程序,調(diào)試調(diào)試而已。可能有很多用法比較low的地方,用法不對,請勿見怪,有大牛感興趣,可以自行完善。
網(wǎng)易云音樂免費音樂批量下載
根據(jù)music_list.txt文件里的歌單的信息下載網(wǎng)易云音樂,將自己喜歡的音樂進(jìn)行批量下載。
B站免費視頻和彈幕批量下載
bilibili:B站視頻和彈幕批量下載
京東商品曬單圖下載
jingdong:京東商品曬單圖下載
正方教務(wù)管理系統(tǒng)個人信息查詢
zhengfang_system_spider:對正方教務(wù)管理系統(tǒng)個人課表,個人學(xué)生成績,績點等簡單爬取
總結(jié)
- 上一篇: 手把手教你搭建使用NuGet私有源
- 下一篇: excel怎么算复购率(EXCEL怎么算