九年義務(wù)教育加三年高考，從來(lái)沒(méi)有過(guò)過(guò)這么緊張充實(shí)的暑假，生怕自己來(lái)學(xué)校了啥都沒(méi)學(xué)到心慌慌，馬上大二了，我慌啊，害怕小學(xué)弟學(xué)妹們進(jìn)來(lái)了我卻當(dāng)不起這個(gè)學(xué)姐，到時(shí)候別人問(wèn)我啥我 啥都不會(huì)啊；雖然我現(xiàn)在也感覺(jué)沒(méi)學(xué)到啥，但是回想一下這個(gè)暑假做的事情心里卻是極開心的；放暑假以前就計(jì)劃好了做完答辯就開始進(jìn)入python的學(xué)習(xí)，最后我的答辯居然耗費(fèi)了我接近一個(gè)月的時(shí)間做完以后又是各種修改，在家沒(méi)怎么學(xué)python，基本上python的學(xué)習(xí)就是提前幾天來(lái)學(xué)校了，老老實(shí)實(shí)地呆在工作室學(xué)了下；

這是我學(xué)了python的基本語(yǔ)法以后進(jìn)入爬蟲的學(xué)習(xí)以后爬的第一個(gè)網(wǎng)頁(yè)咧，爬了一堆表情包，過(guò)程真的不簡(jiǎn)單，照著教程敲代碼各種報(bào)錯(cuò)，不過(guò)還好有度娘喜歡我報(bào)錯(cuò)直接復(fù)制黏貼百度啊，總有前人犯過(guò)一樣的錯(cuò)誤嘛，還有就是有人當(dāng)面指點(diǎn)指點(diǎn)也真的是太棒了；下面先來(lái)講具體思路：（windows系統(tǒng)? ? ? ?python 3.6）

1.引進(jìn)庫(kù)函數(shù)，需要引進(jìn)的內(nèi)容如下，若沒(méi)有這些庫(kù)函數(shù)直接在shell中pip install requests來(lái)下載安裝就好了，其中urllib是python安裝包中自帶的就不需要下載了，但是版本不一樣用法就不一樣，我的是python3.6的，需要在urllib后面加上.request? 最后的os系統(tǒng)操作亦不需要pip引入；

import requests//引進(jìn)requests庫(kù) from bs4 import BeautifulSoup import lxml import urllib import os//對(duì)電腦系統(tǒng)進(jìn)行操作

2.獲取網(wǎng)頁(yè)路徑，先前看了個(gè)教程視頻里面講了不少關(guān)于url（地址的組成的），一個(gè)及其冗長(zhǎng)的視頻，但是我硬著頭皮看完了在這里也提一下吧，其實(shí)要用的時(shí)候就是直接在上面復(fù)制黏貼就好了。

url（地址）：http（請(qǐng)求協(xié)議）：//www.baidu.com（域名）/s?（資源路徑）ie=utf-8&mod=1&isbd=1&isid=c2561bba000de...%..（參數(shù)）

那就提一下后面下載圖片時(shí)的命名問(wèn)題，我用的就是直接截取url的后半部分來(lái)命名下載下來(lái)的圖片；

split_list = url.split('/')將url以/分割為幾部分
?filename = split_list.pop()將最后一部分彈出

請(qǐng)求協(xié)議里面我們遇到的基本上就是http和https了；

http是超文本傳輸協(xié)議

https是http+SSL（安全套接字層）；也就是說(shuō)在傳輸前先加密，之后再解密獲取內(nèi)容，當(dāng)然安全強(qiáng)度較高，自然也就耗時(shí)長(zhǎng)了

3.實(shí)現(xiàn)多個(gè)網(wǎng)頁(yè)整頁(yè)抓取，想爬多個(gè)頁(yè)面自然是要找他們之間的關(guān)系，也就是url的變化規(guī)律，一般就用for循環(huán)或者用range（）產(chǎn)生隨機(jī)數(shù)來(lái)獲取你要爬的頁(yè)面，這里獲取頁(yè)面的時(shí)候有的網(wǎng)頁(yè)設(shè)置了反爬蟲，解決方法就是添加header，原因就是模仿成瀏覽器來(lái)對(duì)目標(biāo)網(wǎng)頁(yè)發(fā)送請(qǐng)求，不得不說(shuō)一下python的語(yǔ)法真的比起其他的簡(jiǎn)單太多了，人生苦短，用python說(shuō)的沒(méi)錯(cuò)呀！

def get_page(page_url):headers = {'Host': 'www.doutula.com','Upgrade-Insecure-Requests': '1','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}res = requests.get(page_url, headers=headers)soup = BeautifulSoup(res.text, 'lxml')

4.找所需獲取圖片的相同屬性，一般來(lái)講他們的class都是一樣的，設(shè)置一個(gè)圖片的列表，然后篩選出符合class特定條件的圖片存入，下載圖片的url。

5.將圖片下載存入本地文件夾，關(guān)于圖片命名的方法上面已經(jīng)說(shuō)了，下面來(lái)說(shuō)一下兩種存圖片的方式

a.直接建一個(gè)images文件夾要和.py文件在同一個(gè)目錄下

path = os.path.join('images',filename)

b.就無(wú)需自己建文件夾了，用if語(yǔ)句電腦自動(dòng)幫你建立一個(gè)和python在同一個(gè)目錄下的文件夾

image_path = 'images'if image_path not in os.listdir() :os.makedirs(image_path) path = os.path.join('images', filename)

最后獻(xiàn)上全部代碼，我也是看的教程學(xué)的，可是我發(fā)現(xiàn)按著教程一步步敲居然也有那么多問(wèn)題，版本不同就會(huì)有差異，但是第一個(gè)實(shí)戰(zhàn)很開心啦

import requests from bs4 import BeautifulSoup import lxml import urllib import osBASE_PAGE_URL = 'http://www.doutula.com/article/list/?page=' PAGE_URL_LIST = []for x in range(1, 2):url = BASE_PAGE_URL + str(x)PAGE_URL_LIST.append(url)def download_img(url):split_list = url.split('/')filename = split_list.pop()image_path = 'images'if image_path not in os.listdir() :os.makedirs(image_path)path = os.path.join('images', filename)urllib.request.urlretrieve(url, filename=path)def get_page(page_url):headers = {'Host': 'www.doutula.com','Upgrade-Insecure-Requests': '1','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}res = requests.get(page_url, headers=headers)soup = BeautifulSoup(res.text, 'lxml')img_list = soup.find_all('img', attrs={'class': 'lazy image_dtb img-responsive'})for img in img_list:url = img['data-original']download_img(url)def main():for page_url in PAGE_URL_LIST:get_page(page_url)if __name__ == '__main__':main()

最后溫馨提示：這個(gè)網(wǎng)站里面的表情包有幾萬(wàn)張，望大家下載的時(shí)候悠著點(diǎn)，因?yàn)槲业某绦蛞坏﹫?zhí)行以后就停不下來(lái)了，就算我把程序關(guān)了還是停不下來(lái)，在獲取網(wǎng)頁(yè)的時(shí)候爬幾頁(yè)就行了，我就只爬了兩頁(yè)。大家瞧瞧？

總結(jié)

以上是生活随笔為你收集整理的python入门爬取表情包的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。