【Python案例】爬取某bo热搜榜并做动态数据展示
生活随笔
收集整理的這篇文章主要介紹了
【Python案例】爬取某bo热搜榜并做动态数据展示
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
目錄
- 前言
- 正文
- 基本開發環境
- 相關模塊的使用
- 需求數據來源分析
- 代碼實現
- 動態數據展示
前言
嗨嗨,大家好啊
最近有沒有在某bo吃瓜啊,今年的瓜好像不少哦,近期的李某某事件真的令我大為震驚🤣
現在的藝人明星還是那句話:該稅的稅,不該睡的別睡。
正文
基本開發環境
- Python 3.6
- Pycharm
相關模塊的使用
import requests import parsel import csv import time安裝Python并添加到環境變量,pip安裝需要的相關模塊即可。
需求數據來源分析
熱搜榜數據, 每次刷新上面的熱度數值都是會發生邊改變,每隔一段時間可以爬取一下榜單數據,然后可以做一個數據展示。
熱搜榜數據內容還是比較好爬的, 因為是靜態網頁數據內容, 如果大家有認真看過之前的問題,那么這個網站還是很好爬取的。
代碼實現
需要源碼、教程,或者是自己有關python不懂的問題,都可以來這里哦 https://jq.qq.com/?_wv=1027&k=j1rUTY72 這里還有學習資料與免費課程領取
每一分鐘爬取一次數據內容
import requests import parsel import csv import timef = open('熱榜.csv', mode='a', encoding='utf-8', newline='') csv_writer = csv.DictWriter(f, fieldnames=['時間','排名','標題','熱度', ]) csv_writer.writeheader() while True:now_time = int(time.time())timeArray = time.localtime(now_time)date = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)url = '網站'headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36',}response = requests.get(url=url, headers=headers)selector = parsel.Selector(response.text)trs = selector.css('#pl_top_realtimehot tbody tr')[:11]for tr in trs:num = tr.css('td.td-01.ranktop::text').get()if num:if num.isdigit():title = tr.css('.td-02 a::text').get()hot = tr.css('.td-02 span::text').get()dit = {'時間': date,'排名': num,'標題': title,'熱度': hot,}print(dit)csv_writer.writerow(dit)time.sleep(60)動態數據展示
- 需要源碼、教程,或者是自己有關python不懂的問題,都可以來這里哦 https://jq.qq.com/?_wv=1027&k=j1rUTY72 這里還有學習資料與免費課程領取
好啦,今天的分享到這里就結束了 ~
對文章有問題的,或者有其他關于python的問題,可以在評論區留言或者私信我哦
覺得我分享的文章不錯的話,可以關注一下我,或者給文章點贊(/≧▽≦)/
總結
以上是生活随笔為你收集整理的【Python案例】爬取某bo热搜榜并做动态数据展示的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Vue Element-ui上传图片踩坑
- 下一篇: higig、higig+、higig2