python爬取豆瓣电影名称与评分进行分析
生活随笔
收集整理的這篇文章主要介紹了
python爬取豆瓣电影名称与评分进行分析
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
通過使用python進行豆瓣網上的數據爬取,進行分析,得到電影名稱與評分。可直接運行。
import time import os import numpy as np import pandas as pd import matplotlib.pyplot as plt from selenium import webdriver from selenium.common.exceptions import NoSuchElementException import datetime ## 爬取劇集列表,并輸出成為excel表格 driver = webdriver.Chrome(executable_path = "D:\\work\\python\\chromedriver.exe") driver.maximize_window() #driver.close() driver.switch_to_window(driver.window_handles[0]) url = 'https://movie.douban.com/tag/#/?sort=U&range=2,10&tags=%E7%94%B5%E5%BD%B1,2010%E5%B9%B4%E4%BB%A3,%E4%B8%AD%E5%9B%BD%E5%A4%A7%E9%99%86' js='window.open("'+url+'")' driver.execute_script(js) driver.close() driver.switch_to_window(driver.window_handles[0])'''測試 i_pag = 0 while i_pag < 3:try:js="var q=document.documentElement.scrollTop=10000000" driver.execute_script(js)driver.find_element_by_class_name('more').click()time.sleep(2)i_pag = i_pag + 1except:break '''while True:try:js="var q=document.documentElement.scrollTop=10000000" driver.execute_script(js)driver.find_element_by_class_name('more').click()time.sleep(2)except:break name = [k.text for k in driver.find_elements_by_class_name('title')] score = [k.text for k in driver.find_elements_by_class_name('rate')] url = [k.get_attribute('href') for k in driver.find_elements_by_class_name('item')] pd.DataFrame({'name':name,'score':score,'url':url}).to_excel('電影名稱.xlsx')僅用于學習使用!
總結
以上是生活随笔為你收集整理的python爬取豆瓣电影名称与评分进行分析的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 用PHP实现手机对jar,jad文件的下
- 下一篇: 华为数通设备常用命令大全