基本開發環境

• Python 3.6
• Pycharm

相關模塊的使用

import requests import parsel import csv import time

安裝Python并添加到環境變量，pip安裝需要的相關模塊即可。

需求數據來源分析

熱搜榜數據， 每次刷新上面的熱度數值都是會發生邊改變，每隔一段時間可以爬取一下榜單數據，然后可以做一個數據展示。

熱搜榜數據內容還是比較好爬的， 因為是靜態網頁數據內容， 如果大家有認真看過之前的問題，那么這個網站還是很好爬取的。

代碼實現

每一分鐘爬取一次數據內容

import requests import parsel import csv import timef = open('熱榜.csv', mode='a', encoding='utf-8', newline='') csv_writer = csv.DictWriter(f, fieldnames=['時間','排名','標題','熱度', ]) csv_writer.writeheader() while True:now_time = int(time.time())timeArray = time.localtime(now_time)date = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)url = 'https://s.weibo.com/top/summary?cate=realtimehot'headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36',}response = requests.get(url=url, headers=headers)selector = parsel.Selector(response.text)trs = selector.css('#pl_top_realtimehot tbody tr')[:11]for tr in trs:num = tr.css('td.td-01.ranktop::text').get()if num:if num.isdigit():title = tr.css('.td-02 a::text').get()hot = tr.css('.td-02 span::text').get()dit = {'時間': date,'排名': num,'標題': title,'熱度': hot,}print(dit)csv_writer.writerow(dit)time.sleep(60)

動態數據展示

tl = Timeline() for i in range(20):bar = (Bar().add_xaxis(list(data['標題'])[i*10:i*10+10][::-1]).add_yaxis("微博熱搜榜", list(data['熱度'])[i*10:i*10+10][::-1]).reversal_axis().set_global_opts(title_opts=opts.TitleOpts("{}".format(list(data['時間'])[i*10]),pos_right='0%',pos_bottom='15%'),xaxis_opts=opts.AxisOpts(splitline_opts=opts.SplitLineOpts(is_show=True)),yaxis_opts=opts.AxisOpts(splitline_opts=opts.SplitLineOpts(is_show=True),axislabel_opts=opts.LabelOpts(color='#FF7F50')),).set_series_opts(label_opts=opts.LabelOpts(position="right",color='#9400D3')))grid = (Grid().add(bar, grid_opts=opts.GridOpts(pos_left="25%",pos_right="0%")))tl.add(grid, "{}年".format(i)) #設置標簽tl.add_schema(play_interval=200, #播放速度is_timeline_show=False, #是否顯示 timeline 組件is_auto_play=True,) tl.render_notebook()

喜歡可以點一點贊和關注哦！
有問題也可以在下方評論區打出來！

總結

以上是生活随笔為你收集整理的教你定时爬取微博热搜榜并做动态数据展示，让你不错过任何一个吃瓜热点的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。