中国女足绝地大逆转,爬取了微博评论区,评论很精彩
昨晚,女足16年后重奪亞洲杯,決賽落后兩球,依然能保持對比賽的觀察和思考,下半場從容調度人手,最后完成逆轉。
打開微博一看,WC,微博推給我的第一條就是一篇瓜文。
這幾天正好有的瓜,于是就爬了一下微博上女足奪冠的評論區,分析一下高頻詞匯什么的,分析大眾心理哈哈哈…
爬取的鏈接:https://weibo.com/1749990115/LegA0AG9A
網頁端前端頁面比較復雜,還有加密數據,比較難操作。相對的來說,手機端和移動端比較好爬。
weibo.com // 網頁端 m.weibo.cn // 手機端 weibo.cn // 移動端將對應網頁端的鏈接轉化到了移動端:https://m.weibo.cn/detail/4734003288741850
特意去Google了一下, 獲取評論數據的舊API接口url是這個樣子滴:https://m.weibo.cn/api/comments/show?id={id}&page={page},此處的id表示要爬的微博的id,page表示第幾頁的評論數據,同時驚奇的發現,目前這個接口還是可用的。
由于是熱門微博,在不斷Google后,找了相關接口信息
https://m.weibo.cn/comments/hotflow?id=4734003288741850&mid=4734003288741850&max_id_type=0
接下來就是json解析的事情了。
# 爬取第一頁的微博評論 def first_page_comment(weibo_id, url, headers):global commentListsurl = url + str(weibo_id) + '&mid=' + str(weibo_id) + '&max_id_type=0'print(url)web_data = requests.get(url, headers=headers,cookies=Cookie)js_con = web_data.json()max_id = js_con['data']['max_id']print(max_id)max = js_con['data']['max']comments_list = js_con['data']['data']print(comments_list)extract_data(comments_list)write_in('1-1')print("已獲取第1頁的評論")return max_id, max, commentLists爬取的第一頁評論如下:
關于下一頁爬取,這里不展開說明
在爬取評論中一共爬取了500頁評價,大約7000多條
其中,點贊非常高的評論
- 憑什么只有1000萬!?每場600萬,同工同酬!!為什么國家要歧視女性?
- 應把男足的工資砍一半給女足獎勵!這樣,獎罰分明!
- 男足一人一千萬年薪?
- 男足可以因為辱華而解散嗎
- 一個球隊1千萬多嗎?請給一個人一千萬,謝謝。
- 解散男足吧
- 建議男足2000月薪,贏一場加20w獎金
最后就是到了評論可視化詞云圖的環節:
詞云圖中解散男足字眼大量出現,可見對男足的失望。獎勵女足,一千萬遠遠不夠。
最后時刻的一攻一守,實在是太精彩。特別有感觸的一件事:在女足扳平比分之后,無論是身邊一起看球的朋友,大家都覺得女足能絕殺。
中國女足在不被人看好的情況下,以讓人信服的方式強勢重返亞洲杯之巔,其頑強的拼搏精神只是表象。用專業人做專業的事——用對人——才是女足關鍵時刻能夠拼下日、韓兩大勁敵,奪回這個冠軍的根本原因。
關于微博爬取和詞云圖代碼,公眾號后臺回復**《女足》**
總結
以上是生活随笔為你收集整理的中国女足绝地大逆转,爬取了微博评论区,评论很精彩的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: win8系统无法正常开机怎么办 解决wi
- 下一篇: shiny 发布部署到公开网站 ,供别人