爬取微博好友所发微博制作词云
生活随笔
收集整理的這篇文章主要介紹了
爬取微博好友所发微博制作词云
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
打開一個關(guān)注者的微博頁面,打開開發(fā)者工具,選擇圖中兩個地方
刷新頁面,向下滾動,中途會出現(xiàn)正在加載,直到最后會出現(xiàn)下一頁,
這時看開發(fā)者工具,這時真正請求的URL才出現(xiàn)
然后找到Cookies,復制修改成字典形式復制到如下代碼中
import requests import json from bs4 import BeautifulSoupurl = '此處填入URL' cookiess = {'Cookie':'此處填入Cookies'} r = requests.get(url,cookies = cookiess) r.encoding = r.apparent_encoding Data = json.loads(r.text) #現(xiàn)在Data就是我們在開發(fā)者工具Preview里面的 # Data['data']全部是標簽 htmlstr = Data['data'] # if '第一周' in htmlstr: # print('yes') # else: # print('no') bsObj = BeautifulSoup(htmlstr,'html.parser') title = bsObj.find_all('div',{'class':'WB_text W_f14'}) #測試一下是什么類型,ResultSet需要迭代 # print(type(title))for i in title:print(i.string)print(i.get_text(),end='')爬取出來的內(nèi)容不知怎么回事出現(xiàn)了許多空格,先手動保存一下吧,以后有了好的方法,再來更新下文章.
假設(shè)我們將爬取的內(nèi)容保存到了weibo.txt,我們新建一個文件用來制作詞云
總結(jié)
以上是生活随笔為你收集整理的爬取微博好友所发微博制作词云的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 爬取智联招聘(面向对象)
- 下一篇: Flask实战2问答平台-首页布局,功能