python 廖雪峰数据分析统计服_廖雪峰python教程阅读量统计
統計了下廖老師的python教程各個小節的閱讀量(毫無卵用),廖老師網站反爬做的比我們教務系統可是好多了,一定時間內訪問次數多會禁止,反正數據量也不多,就慢慢來,基本上也不會對網站造成什么影響。
剛學python, 代碼寫的是真的丑,沖著能實現基本功能來,所以也沒什么美感。
首先是獲取各個小節的url
def get_url_list():
index_url='https://www.liaoxuefeng.com/wiki/'\
'0014316089557264a6b348958f449949df42a6d3a2e542c000'
try:
index_r=requests.get(index_url,headers=get_user_agent(),timeout=1)
bs_obj=BeautifulSoup(index_r.text,'html.parser')
return list(map(lambda x:'https://www.liaoxuefeng.com'+x['href'],bs_obj.find_all('a',{'class':'x-wiki-index-item'})))
except:
return []
獲取各個小節閱讀量,因為數據量小,所以直接存儲到文本文件中了
def get_count_of_reading():
url_list=get_url_list()
result={}
for url in url_list:
try:
r=requests.get(url,headers=get_user_agent(),timeout=1)
bs_obj=BeautifulSoup(r.text,'html.parser')
title=bs_obj.h4.string
count=int(str(bs_obj.find_all('div',{'class':'x-wiki-info'})[0].span.string).split()[1])
result[url_list.index(url)]=[title,count]
print('successly')
sleep(3)
except:
error_log(url)
print('error')
sleep(3)
with open('result.txt','w') as f:
f.write(str(result))
return result
得到數據后繪制了折線圖和柱狀圖,這個真的是現學現賣。折線圖
柱狀圖
可以看到剛開始的閱讀量和后邊章節閱讀量更是百倍的差距,中間小的凸起大部分是新的一個章節的開篇。善始善終很重要啊。
自己剛開始看也是很困難,后邊的許多章節很難理解,但是時不時去看下,每次都能有新的理解,新的收獲。
另外注意到有幾個章節閱讀量都是個位數,以為是數據錯誤,去網站確認了下,發現應該是廖神剛更新了幾個章節,所以閱讀量很低。
感謝廖老師 @廖雪峰 能為我們提供這么好的經典教程,對于python初學者來說,廖老師的python教程可以說是必選了。
總結
以上是生活随笔為你收集整理的python 廖雪峰数据分析统计服_廖雪峰python教程阅读量统计的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python根据列表绘制柱状图_pyth
- 下一篇: 天生胖的人能瘦下来吗