爬取京東商城的圖片

1.我們爬取數(shù)據(jù)時(shí)首先自己要明確需要什么，我們?cè)谂廊【〇|商城的圖片是首先要獲取url，打開(kāi)京東網(wǎng)頁(yè)，點(diǎn)擊手機(jī)類(lèi)型，選擇全部手機(jī)，觀察瀏覽器的地址欄的變化，發(fā)現(xiàn)url主要是有：https://list.jd.com/list.html?cat=9987,653,655&page=1，而page就是每頁(yè)的標(biāo)志.

2.點(diǎn)擊F12，通過(guò)瀏覽器查看部分源代碼，尋找特需規(guī)律，我們發(fā)現(xiàn)每一頁(yè)開(kāi)始都是從

開(kāi)始的，以結(jié)束的，接著查看圖片的規(guī)律,,那我們就可以根據(jù)這個(gè)規(guī)律來(lái)寫(xiě)正則表達(dá)式來(lái)過(guò)濾我們想要的信息。

def craw(url, page):

# 1.獲取網(wǎng)頁(yè)的數(shù)據(jù)

html1 = urllib.request.urlopen(url).read()

html1 = str(html1)

# 2.通過(guò)正則得到每頁(yè)圖片的數(shù)據(jù)

pattrn1 = '

'

result1 = re.compile(pattrn1).findall(html1)

image = result1[0]

# 3.在通過(guò)正則拿到每頁(yè)所有的圖片鏈接

pattrn2 = ''

imaglist = re.compile(pattrn2).findall(image)

# 4.遍歷所有的圖片鏈接，將圖片保存在本地，通過(guò)頁(yè)號(hào)和序號(hào)有序的排列

x = 1

for imageurl in imaglist:

imagename = "D:/python/image"+str(page)+str(x)+".jpg"

imageurl = "http://"+imageurl

try:

urllib.request.urlretrieve(imageurl, filename=imagename)

except urllib.error.URLError as e:

if hasattr(e, "code"):

x += 1

if hasattr(e, "reason"):

x += 1

x += 1

for i in range(1, 79):

url = "https://list.jd.com/list.html?cat=9987,653,655&page="+str(i)

craw(url, i)

其實(shí)爬蟲(chóng)的關(guān)鍵是在于分析，我們要根據(jù)自己的需求對(duì)網(wǎng)頁(yè)及西寧分析，然后找出規(guī)律，寫(xiě)出正確的正則表達(dá)式來(lái)過(guò)濾自己的信息，拿到想要的東西，在就是在請(qǐng)求的過(guò)程中我們需要注意許多細(xì)節(jié)。

總結(jié)

以上是生活随笔為你收集整理的python爬取京东商品图片_Python---爬取京东商城的图片的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。