爬蟲

首先我們在網(wǎng)站中打開我們要爬的網(wǎng)站
“http://maoyan.com/board/4”
這就是豆瓣高分電影前100的榜單.

然后我們點擊f12，再刷新一次，就可以看到網(wǎng)頁的基本信息了。
這時候我們來看一下第一部‘我不是藥神中的代碼信息?！?br />
一個dd節(jié)點為一個電影的全部信息。
我們用正則表達式的方法去分析上面的代碼，首先是class為board-index的排名信息。
我們用正則表達式應(yīng)該是這么去寫

<dd>.*?board-index.*?>(.*?)</i>

那我們接著分析第二部分的圖片，我們看圖片的節(jié)點一共有兩點：兩個img節(jié)點。
我們發(fā)現(xiàn)第二個img節(jié)點屬性為data-src為圖片鏈接，所以我們就分析這部分。
我們用正則表達式應(yīng)該是這么去寫

.*?data.src="(.*?)"

以此類推我們接著分析剩下所有的信息。
第三部分為電影名，電影名在p節(jié)點的class=name下面。
我們用正則表達式應(yīng)該這么寫

.*?name".*?a.*?>(.*?)</a>

那么接下來我們就寫一個完整的信息：分別記錄了排名，照片，名字，演員，時間，評分。

<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star".*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>

那我們就可以正式一步一步去做一份爬取任務(wù)了：
1.導(dǎo)入庫：

import json import requests from requests.exceptions import RequestException import re import time #time庫是用來延時訪問，某些網(wǎng)站設(shè)置了反爬，不能快速連續(xù)訪問該網(wǎng)站

2.抓取首頁：

def get_one_page(url):try:headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textreturn Noneexcept RequestException:return None

3.正則提取：

def parse_one_page(html):pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'+ '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'+ '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)items = re.findall(pattern, html)for item in items:yield {'index': item[0],'image': item[1],'title': item[2],'actor': item[3].strip()[3:],'time': item[4].strip()[5:],'score': item[5] + item[6]}

4.寫入文件：

def write_to_file(content):with open('result.txt', 'a', encoding='utf-8') as f:f.write(json.dumps(content, ensure_ascii=False) + '\n')

5.分頁爬取：

我們可以看到，一頁有10個電影。那我們爬取TOP100，則需要看10頁的電影內(nèi)容。

當(dāng)我們切到下一頁的時候，我們發(fā)現(xiàn)網(wǎng)站名稱后多了offset=10.第三頁的時候則是offest=20.
那我們就明白了，我們可以根據(jù)offest來對TOP100進行分頁爬蟲。

def main(offset):url = 'http://maoyan.com/board/4?offset=' + str(offset)html = get_one_page(url)for item in parse_one_page(html):print(item)write_to_file(item) if __name__ == '__main__':for i in range(10):main(offset=i * 10)time.sleep(1) #貓眼多了反爬蟲，所以我們要延時等待。

完整代碼：

import json import requests from requests.exceptions import RequestException import re import timedef get_one_page(url):try:headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textreturn Noneexcept RequestException:return Nonedef parse_one_page(html):pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'+ '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'+ '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)items = re.findall(pattern, html)for item in items:yield {'index': item[0],'image': item[1],'title': item[2],'actor': item[3].strip()[3:],'time': item[4].strip()[5:],'score': item[5] + item[6]}def write_to_file(content):with open('result.txt', 'a', encoding='utf-8') as f:f.write(json.dumps(content, ensure_ascii=False) + '\n')def main(offset):url = 'http://maoyan.com/board/4?offset=' + str(offset)html = get_one_page(url)for item in parse_one_page(html):print(item)write_to_file(item)if __name__ == '__main__':for i in range(10):main(offset=i * 10)time.sleep(1)

如果爬取過程中發(fā)現(xiàn)只爬取到了前10或者前20的內(nèi)容就停止了。
那我們回到TOP100的網(wǎng)頁，發(fā)現(xiàn)了他讓我們進行圖片的驗證（反爬蟲）
由于我們現(xiàn)在還沒學(xué)到解決這類問題的方法。
所以我們自己進入網(wǎng)頁驗證完之后，再運行一次就能成功了。

總結(jié)

以上是生活随笔為你收集整理的爬取豆瓣电影TOP100的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。