戳藍(lán)字“CSDN云計(jì)算”關(guān)注我們哦！

作者：?黃超 就職頂新集團(tuán)智能科技公司 數(shù)據(jù)從業(yè)者

前言

什么樣的面包品牌最好賣？什么樣的口感最受歡迎？相信每一位喜歡面包的朋友都會(huì)關(guān)心這些問題。本文通過爬取京東面包類數(shù)據(jù)，一方面回答大家關(guān)于此前關(guān)于面包的各種問題，另一方面也帶大家了解一份完整的數(shù)據(jù)報(bào)告，可以從中有所借鑒。

數(shù)據(jù)爬取（部分代碼）

構(gòu)建解析詳情頁(yè)的代理

def?disguiser():
'''
構(gòu)建解析詳情頁(yè)的代理
'''
try:
req = request.Request('http://www.agent.cn/xdaili-api//greatRecharge/getGreatIp?spiderId=8f75fb741de34cfb95adf347910db7a9&orderno=YZ20191169208Yi1jmu&returnType=2&count=1')
resp = request.urlopen(req)
jsonIP = resp.read().decode()
jsonIP = re.sub(' ','',jsonIP)
ipList = re.findall('"ip":"(.*?)"',jsonIP)
portList = re.findall('"port":"(.*?)"',jsonIP)
value = list(map(lambda?x,y : x +?':'?+ y,ipList, portList))
key = ['http']
ipDict = {key[index] : value[index]?for?index?in?range(len(key))}
print(ipDict)
# 1. 使用ProxyHandler，傳入代理構(gòu)建一個(gè)handler
handler = request.ProxyHandler(ipDict)?# key: http/https val: ip:port
# 2. 使用上面創(chuàng)建的handler構(gòu)建一個(gè)opener
opener = request.build_opener(handler)
print(opener)
except:
time.sleep(6)
req = request.Request('http://www.agent.cn/xdaili-api//greatRecharge/getGreatIp?spiderId=8f75fb741de34cfb95adf347910db7a9&orderno=YZ20191169208Yi1jmu&returnType=2&count=1')
resp = request.urlopen(req)
jsonIP = resp.read().decode()
jsonIP = re.sub(' ','',jsonIP)
ipList = re.findall('"ip":"(.*?)"',jsonIP)
portList = re.findall('"port":"(.*?)"',jsonIP)
value = list(map(lambda?x,y : x +?':'?+ y,ipList, portList))
key = ['http']
ipDict = {key[index] : value[index]?for?index?in?range(len(key))}
print(ipDict)
# 1. 使用ProxyHandler，傳入代理構(gòu)建一個(gè)handler
handler = request.ProxyHandler(ipDict)?# key: http/https val: ip:port
# 2. 使用上面創(chuàng)建的handler構(gòu)建一個(gè)opener
opener = request.build_opener(handler)
return?opener

解析詳情頁(yè)的內(nèi)容

def?parser(pageQueue, uaPool, priceRequestDoc, PRICEBASEURL, detailRequestDoc, open):
'''
解析詳情頁(yè)的內(nèi)容
'''
detailUrl = pageQueue.get()[1]
print(detailUrl)
# 價(jià)格
PRICEURL = PRICEBASEURL + re.search('\d+',detailUrl).group()
priceRequestDoc = re.sub(r' ','',priceRequestDoc)
headers_for_price = dict(re.findall('([-\w\d]*?):(.*)',priceRequestDoc))
headers_for_price.update(uaPool[random.randint(0,len(uaPool)-1)])?# 獲取商品價(jià)格信息請(qǐng)求的headers信息
req = request.Request(PRICEURL, headers = headers_for_price)
resp = open(req)?#第一次響應(yīng)
print(PRICEURL,'商品價(jià)格頁(yè)請(qǐng)求響應(yīng)碼：',resp.getcode())
if?resp.getcode() ==?200:
info = resp.read().decode()
elif?SERVER_ERROR_MIN <= response.status_code < SERVER_ERROR_MAX:
for?i?in?range(5):
time.sleep(i**i)?#可以繼續(xù)優(yōu)化,第一次1秒,第二次10秒,第三次100秒...
resp = open(req)
if?resp.getcode() ==?200:
break
elif?SERVER_ERROR_MIN <= response.status_code < SERVER_ERROR_MAX:
if?response.status_code ==?404:
print('page not found')
elif?response.status_code ==?403:
print('have no right')
else:
pass
info = json.loads(info)
item_price = info[0]['p']

# 名稱 品牌 是否含糖 保質(zhì)期 配料 包裝 商品產(chǎn)地...
detailRequestDoc = re.sub(r' ','',detailRequestDoc)
headers_for_detail = dict(re.findall('([-\w\d:]*):(.*)',detailRequestDoc))
headers_for_detail.update(uaPool[random.randint(0,9)])?# 獲取商品價(jià)格信息請(qǐng)求的headers信息
req = request.Request(detailUrl, headers = headers_for_detail)
resp = open(req)?# 第二個(gè)響應(yīng)
print(detailUrl,'詳情頁(yè)請(qǐng)求響應(yīng)：',resp.getcode())
if?resp.getcode() ==?200:
pass
elif?SERVER_ERROR_MIN <= response.status_code < SERVER_ERROR_MAX:
for?i?in?range(5):
time.sleep(i**i)?#可以繼續(xù)優(yōu)化,第一次1秒,第二次10秒,第三次100秒...
resp = open(req)
if?resp.getcode() ==?200:
break
elif?SERVER_ERROR_MIN <= response.status_code < SERVER_ERROR_MAX:
if?response.status_code ==?404:
print(detailUrl,'page not found')
elif?response.status_code ==?403:
print(detailUrl,'have no right')
else:
pass
parser = etree.HTMLParser(encoding =?'gbk')
html = etree.parse(resp, parser = parser)
print(html)
elements = html.xpath("//ul[@class='parameter2 p-parameter-list']//text() | //dl[@class='clearfix']//text()")
detailInfo = list(filter(lambda?msg : len(msg.strip()) >?0?and?msg, elements))
detailInfo = ('#').join(detailInfo)
try:
item_name = re.search('商品名稱：(.*?)#',detailInfo).group(1)
except?AttributeError:
# print('商品沒有 item_name 信息')
item_name =?'n'
try:
item_id = re.search('\d+',detailUrl).group()
except?AttributeError:
# print('商品沒有 item_id 信息')
item_id =?'n'
# 大商品名稱
elementTitle = html.xpath("//title//text()")[0]
elementTitle = elementTitle.strip()
item_fullName = re.search('(【.*】)*(.*)?【',elementTitle).group(2)
# 品牌
elementBrand = html.xpath("//*[@id='crumb-wrap']/div/div[1]/div[7]/div/div/div[1]/a/text()")
elementBrand = list(filter(lambda?msg : len(msg.strip()) >?0?and?msg, elementBrand))
try:
item_brand = elementBrand[0]
except?IndexError:
item_brand =?'npl'
yield?{
'item_id':item_id,
'item_fullName':item_fullName,
'item_name':item_name,
'item_price':item_price,
'item_brand':item_brand,
'gross_weight':gross_weight,
'item_origin':item_origin,
'item_certification':item_certification,
'processing_technology':processing_technology,
'packing_unit':packing_unit,
'is_suger':is_suger
}

由于公眾號(hào)篇幅有限，無法展示本文全部代碼，我們已將代碼放入百度云盤。后臺(tái)回復(fù)“面包”，可以獲取本文代碼。

分析正文

?

福利

掃描添加小編微信，備注“姓名+公司職位”，加入【云計(jì)算學(xué)習(xí)交流群】，和志同道合的朋友們共同打卡學(xué)習(xí)！

2、公眾號(hào)后臺(tái)回復(fù)“面包”，可以獲取本文代碼

推薦閱讀：

• 女神節(jié) | 那些奮斗在IT領(lǐng)域的“女神”們

• 云漫圈 | 如何給女朋友解釋什么是HTTP

• 趣挨踢 | 跳槽季，讓我們一起攻克算法吧！
  

• 互聯(lián)網(wǎng)沒有春天
  

• 學(xué) Python 沒找對(duì)路到底有多慘？| 碼書

• 這份“插件英雄榜Top20”才是Chrome的正確打開方式！

• 劇情反轉(zhuǎn)! 創(chuàng)始人去世事件再爆新料, 1.8億美元難道去了天堂？

喜歡就點(diǎn)擊“好看”吧

總結(jié)

以上是生活随笔為你收集整理的数据解读京东上最受欢迎的面包的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。