系列文章目錄

python爬蟲(chóng)實(shí)戰(zhàn)——爬取淘寶商品信息并導(dǎo)入EXCEL表格（超詳細(xì)）.

python多線(xiàn)程爬取壁紙 媽媽再也不擔(dān)心我沒(méi)壁紙了！.

python爬蟲(chóng)爬取虎牙數(shù)據(jù)（簡(jiǎn)單利用requests庫(kù)以及Beautifulsoup）.

python爬蟲(chóng)之爬取壁紙（新手入門(mén)級(jí)）.

文章目錄

• 系列文章目錄
• 前言
• 一、解析URL組成
• 二、利用正則表達(dá)式獲取所需的數(shù)據(jù)
• • 2.數(shù)據(jù)的優(yōu)化
• 三、使用selenium模擬網(wǎng)頁(yè)刷新
• 四、總體的函數(shù)和代碼編寫(xiě)
• • 1.獲取html內(nèi)容
  • 2.正則表達(dá)式獲取信息
  • 3.獲取每頁(yè)的網(wǎng)頁(yè)鏈接
  • 4.將信息寫(xiě)入excel表
  • 5.主函數(shù)及開(kāi)頭的編寫(xiě)
• 總結(jié)

---

前言

上一篇博客具體寫(xiě)了正則表達(dá)式的基本操作。
所以本文使用re正則庫(kù)對(duì)貓眼電影前100名的電影數(shù)據(jù)（電影排名，電影名稱(chēng)，電影主演以及電影評(píng)分）進(jìn)行爬取，使用selenium庫(kù)刷新頁(yè)面（防止獲取頁(yè)面html失敗），最后將數(shù)據(jù)導(dǎo)入Excel表格。大致思路與上一篇爬取淘寶數(shù)據(jù)類(lèi)似
ps：代碼只用于學(xué)習(xí)不用于任何商業(yè)用途
最后效果如圖所示

---

提示：以下是本篇文章正文內(nèi)容

一、解析URL組成

第一頁(yè)URL組成為：https://maoyan.com/board/4?offset=0
第二頁(yè)URL組成為：https://maoyan.com/board/4?offset=10
由此可以得出頁(yè)面變動(dòng)的規(guī)則在于后面offset的參數(shù)

二、利用正則表達(dá)式獲取所需的數(shù)據(jù)

打開(kāi)開(kāi)發(fā)者工具可見(jiàn)下圖

可以得到正則表達(dá)式如下（示例）：

rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S) title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S) star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S) score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)

對(duì)于正則表達(dá)式不明白的可以參考我的上一篇博客：
python爬蟲(chóng)入門(mén)必會(huì)的操作—正則表達(dá)式（詳解）.

2.數(shù)據(jù)的優(yōu)化

我們得到的star和score數(shù)據(jù)中，star里有很多空格和換行，所以我們用strip()方法去掉，并用replace（）方法將匹配到的主演轉(zhuǎn)為空
同時(shí)score得到的數(shù)據(jù)需要兩項(xiàng)加起來(lái)
代碼如下：

star[i].strip().replace('主演：', ''), score[i][0] + score[i][1])

---

三、使用selenium模擬網(wǎng)頁(yè)刷新

在爬取的途中我發(fā)現(xiàn)網(wǎng)站需要刷新才能獲得我們所需要的html內(nèi)容所以我們需要selenium代替我們?nèi)斯に⑿?#xff08;或者自己手動(dòng)刷新）
刷新網(wǎng)頁(yè)代碼如下：

from selenium import webdriver driver = webdriver.Chrome() driver.maximize_window() driver.get('https://maoyan.com/board/4?offset=0') driver.refresh()

四、總體的函數(shù)和代碼編寫(xiě)

1.獲取html內(nèi)容

def Get_html(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko',}r = requests.get(url, headers=headers)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.text

2.正則表達(dá)式獲取信息

def Get_Xx(html):x = []rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S)title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S)star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S)score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)for i in range(0, 10):x.append((rank[i], title[i], star[i].strip().replace('主演：', ''), score[i][0] + score[i][1]))return x

3.獲取每頁(yè)的網(wǎng)頁(yè)鏈接

def Url_list():urls = ['https://maoyan.com/board/4?offset=0']for i in range(10, 91, 10):url = 'https://maoyan.com/board/4?offset=' + str(i)urls.append(url)return urls

4.將信息寫(xiě)入excel表

def Write_intoExcel(x):global countfor i in range(len(x)):worksheet.write(count + i + 1, 0, x[i][0])worksheet.write(count + i + 1, 1, x[i][1])worksheet.write(count + i + 1, 2, x[i][2])worksheet.write(count + i + 1, 3, x[i][3])print(x)count = count + len(x)

5.主函數(shù)及開(kāi)頭的編寫(xiě)

開(kāi)頭：

import re import timeimport requests import xlsxwriter from selenium import webdriverworkbook = xlsxwriter.Workbook('電影.xlsx') worksheet = workbook.add_worksheet() worksheet.set_column('A:A', 20) worksheet.set_column('B:B', 20) worksheet.set_column('C:C', 70) worksheet.set_column('D:D', 20) worksheet.write('A1', '排名') worksheet.write('B1', '名字') worksheet.write('C1', '主演') worksheet.write('D1', '評(píng)分')

主函數(shù)：

if __name__ == "__main__":driver = webdriver.Chrome()driver.maximize_window()driver.get('https://maoyan.com/board/4?offset=0')x = []count = 0urls = Url_list()for url in urls:html = Get_html(url)x = Get_Xx(html)Write_intoExcel(x)time.sleep(5) # 這里設(shè)置了每5s進(jìn)行一次頁(yè)面刷新driver.refresh()workbook.close()

最后完整代碼：

# -*- coding: utf-8 -*- # @Time : 2020/11/17 17:00 # @Author : cc # @E-mail : 1215177216@qq.com # @Site : # @File : 貓眼電影.py # @Software: PyCharm # 本代碼只用于學(xué)習(xí)！ import re import time import requests import xlsxwriter from selenium import webdriverworkbook = xlsxwriter.Workbook('電影.xlsx') worksheet = workbook.add_worksheet() worksheet.set_column('A:A', 20) worksheet.set_column('B:B', 20) worksheet.set_column('C:C', 70) worksheet.set_column('D:D', 20) worksheet.write('A1', '排名') worksheet.write('B1', '名字') worksheet.write('C1', '主演') worksheet.write('D1', '評(píng)分')def Get_html(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko',}r = requests.get(url, headers=headers)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textdef Get_Xx(html):x = []rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S)title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S)star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S)score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)for i in range(0, 10):x.append((rank[i], title[i], star[i].strip().replace('主演：', ''), score[i][0] + score[i][1]))return xdef Write_intoExcel(x):global countfor i in range(len(x)):worksheet.write(count + i + 1, 0, x[i][0])worksheet.write(count + i + 1, 1, x[i][1])worksheet.write(count + i + 1, 2, x[i][2])worksheet.write(count + i + 1, 3, x[i][3])print(x)count = count + len(x)def Url_list():urls = ['https://maoyan.com/board/4?offset=0']for i in range(10, 91, 10):url = 'https://maoyan.com/board/4?offset=' + str(i)urls.append(url)return urlsif __name__ == "__main__":driver = webdriver.Chrome()driver.maximize_window()driver.get('https://maoyan.com/board/4?offset=0')x = []count = 0urls = Url_list()for url in urls:html = Get_html(url)x = Get_Xx(html)Write_intoExcel(x)time.sleep(5)driver.refresh()workbook.close()

總結(jié)

最后覺(jué)得寫(xiě)的好的

總結(jié)

以上是生活随笔為你收集整理的python爬虫实战——爬取猫眼电影TOP100并导入excel表的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。