Python对QQ音乐进行爬取并进行数据分析
生活随笔
收集整理的這篇文章主要介紹了
Python对QQ音乐进行爬取并进行数据分析
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
?
三方包引入
使用到了以下包:
- 爬蟲 scrapy
- 網絡測試 requests
- 數據分析 numpy和pandas
- 繪圖 matplotlib和wordcloud
爬取數據
打開QQ音樂網頁版的分類歌單界面,乍一看,一分析網頁源碼,看到下圖:
?
那么看來它就是使用動態填充的,那么它肯定就調用了接口,請求數據,那么就去找,在檢查里的network中找啊找,最終找到了它:
?
?
然后寫上代碼,經過調試,終于成功了。
最后我把它保存成一個csv文件,通過播放量排序,截取前20,得到了下圖
?
分析數據
對于這個數據的處理,就用到了numpy和pandas以及matplotlib。經過分析得出下圖結果:
播放次數分析
?
標簽分析
?
github地址:
https://github.com/arvinljw/SpiderNet/blob/master/qqmusic/qqmusic/spiders/qqmusic.py
轉載于:https://www.cnblogs.com/dawning666/articles/9433946.html
總結
以上是生活随笔為你收集整理的Python对QQ音乐进行爬取并进行数据分析的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 最新开源JavaScript 图表库 E
- 下一篇: 青岛港a股上市时间