python爬取音乐_利用Python对网易云音乐进行爬取!无所不爬的爬虫啊!
生活随笔
收集整理的這篇文章主要介紹了
python爬取音乐_利用Python对网易云音乐进行爬取!无所不爬的爬虫啊!
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
今天,我們利用Python 中的selenium爬取網(wǎng)易云音樂中林俊杰《將故事寫成我們》的評論,具體界面如下:
私信小編01 獲取數(shù)十套PDF!爬蟲 web都有的呢!
具體代碼如下:
#此程序用來爬取網(wǎng)易云音樂中《將故事寫成我們》的評論,主要包含用戶名和評論 #其中csv文件保存了用戶名和評論,txt文件只保存了評論 from selenium import webdriver import time import csv import bs4 from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait url='https://music.163.com/#/song?id=1391477429' #翻頁的函數(shù) def next_page():ckl = driver.find_element_by_link_text('下一頁')driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")ckl.click()wait = WebDriverWait(driver, 10)wait.until(EC.presence_of_element_located((By.CLASS_NAME,'itm')))content = driver.page_sourcecontent = content.replace('<br />', 'n') # 輸出時(shí)按照網(wǎng)頁上的格式換行保存評論內(nèi)容html = bs4.BeautifulSoup(content, 'lxml')return html if __name__ == '__main__':driver = webdriver.Chrome()driver.get(url)time.sleep(5)list_info = []time.sleep(1)#首先找到g_iframe這個(gè)框架,不然直接找找不到frame = driver.find_element_by_id('g_iframe')driver.switch_to.frame(frame)time.sleep(2)#翻頁是因?yàn)榈谝淮沃苯语@示最火的15條評論,翻頁再翻回去就沒有那15條評論了# 先翻一頁sec=driver.find_element_by_link_text('下一頁')driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")sec.click()time.sleep(1)#再回到第一頁fir=driver.find_element_by_link_text('上一頁')fir.click()time.sleep(1)# 先爬取首頁的評論datas = driver.find_elements_by_css_selector('div.cntwrap > div:nth-child(1) > div')for i in datas:data=i.textname=data[:data.index(':')]comment=data[data.index(':')+1:]list_info.append([name,comment])# print(list_info)# 爬取后續(xù)的頁面評論for i in range(200):time.sleep(0.5)ht=next_page()ncom=ht.find_all('div',class_='cnt f-brk')for k in ncom:data1=k.textname1=data1[:data1.index(':')]comment1=data1[data1.index(':')+1:]list_info.append([name1,comment1])print(list_info)#將其保存成csv文件with open('將故事寫成我們','a') as f:writer=csv.writer(f)writer.writerows(list_info)#將其中的評論comment部分保存成txt文件with open('將故事寫成我們的評論.txt','a') as f:for i in list_info:f.write(i[1])list_info=[]print('Done')運(yùn)行結(jié)果如下(只爬取了前201頁):
這是csv文件中保存的內(nèi)容,txt的內(nèi)容如下:
好了,明天我們利用詞云對《將故事寫成我們》的評論進(jìn)行繪圖,找到其中的高頻詞,并制作一個(gè)詞云圖
總結(jié)
以上是生活随笔為你收集整理的python爬取音乐_利用Python对网易云音乐进行爬取!无所不爬的爬虫啊!的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 两个时间计算毫秒在线_蹲坑英语时间之in
- 下一篇: python扫雷代码_谁说Python不