2020年最新淘寶商品比價定向爬取

功能描述 目標：獲取淘寶搜索頁面的信息，提取其中的商品名稱和價格。 理解：淘寶的搜索接口 翻頁的處理 技術路線：requests-? ? ? ? ? re 程序的結構設計 步驟1：提交商品搜索請求，循環(huán)獲取頁面 步驟2：對于每個頁面，提取商品名稱和價格信息 步驟3：將信息輸出到屏幕上 爬取時淘寶模擬登錄即可爬取相關信息 2020年5月最新的“淘寶商品信息定向爬蟲”實例編寫 #cookie的獲取方法： 打開淘寶商品頁面，登錄你的淘寶賬號，F12進入瀏覽器的開發(fā)者調試工具，點擊Network，重新刷新頁面，選擇最上面的search?initiative_id=......的dos文件，找到Request Headers，復制里面的cookie內容，這樣，你就能夠獲得你的cookie了 #使用的庫 import re import requests #發(fā)起請求的函數(shù)(這里我們需要瀏覽器獲取cookie) def gethttptext(url):try:kv = {'cookie': #自己獲取'user-agent':'Mozilla/5.0'}r=requests.get(url,headers=kv,timeout=30)r.raise_for_status()r.encoding=r.apparent_encodingreturn r.textexcept:print("提取失敗")return "" # 獲取各個商品的信息 def parsepage(ilt,html):try:plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)# print(tlt)print(len(plt))for i in range(len(plt)):price = eval(plt[i].split(':')[1])title = eval(tlt[i].split(':')[1])ilt.append([title, price])# print(ilist)except:print("解析出錯") # 將商品輸入到屏幕上 def printgoodslist(ilt):tplt="{:4}\t{:8}\t{:16}"print(tplt.format("序號","價格","商品名稱"))count=0for g in ilt:count=count+1print(tplt.format(count,g[0],g[1])) #主函數(shù) if __name__=="__main__":goods='玫瑰花'depth=2start_url='https://s.taobao.com/search?q='+goodsinfolist=[]for i in range(depth):try:url=start_url+'&s='+str(44*i)html=gethttptext(url)parsepage(infolist,html)except:continueprintgoodslist(infolist) #全部代碼 import requests import re def gethttptext(url):try:kv = {'cookie':#'user-agent':'Mozilla/5.0'}r=requests.get(url,headers=kv,timeout=30)r.raise_for_status()r.encoding=r.apparent_encodingreturn r.textexcept:print("提取失敗")return ""def parsepage(ilt,html):try:plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)# print(tlt)print(len(plt))for i in range(len(plt)):price = eval(plt[i].split(':')[1])title = eval(tlt[i].split(':')[1])ilt.append([title, price])# print(ilist)except:print("解析出錯")def printgoodslist(ilt):tplt="{:4}\t{:8}\t{:16}"print(tplt.format("序號","價格","商品名稱"))count=0for g in ilt:count=count+1print(tplt.format(count,g[0],g[1]))if __name__=="__main__":goods='玫瑰花'depth=2start_url='https://s.taobao.com/search?q='+goodsinfolist=[]for i in range(depth):try:url=start_url+'&s='+str(44*i)html=gethttptext(url)parsepage(infolist,html)except:continueprintgoodslist(infolist)

爬取結果

序號? ? ? ? ? ? ? 商品名稱? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?價格
1 廣州深圳鮮花同城2小時送達保證新鮮 107.89
2 買1送1玫瑰花茶干花泡茶干玫瑰花茶重瓣玫瑰 19.80
3 買一送一八年苗嫁接玫瑰花苗綠植盆栽室內花 3.90
4 【肖戰(zhàn)同款】ROSEONLY甜心兔公仔 永生玫瑰花禮盒 送女友節(jié)日禮物 1520.00
5 520情人節(jié)玫瑰花束鮮花速遞同城全國配送花北京上海廣州成都杭州 149.00
6 99朵紅玫瑰花束生日鮮花速遞北京上海廣州深圳成都杭州西安同城送 158.00
7 鮮花速遞同城香檳玫瑰花束禮盒上海南京蘇州杭州寧波合肥生日送花 98.00
8 520情人節(jié)鮮花速遞 同城配送上海北京南京深圳廣州99朵紅玫瑰花束 158.00
9 荷葉茶冬瓜荷葉茶葉純干玫瑰花茶袋泡花草茶包組合天然決明正品子 29.90
10 520情人節(jié)鮮花速遞 同城配送北京上海廣州深圳南京西安99朵玫瑰花 188.00
11 永生花玻璃罩玫瑰520禮物送女友情人節(jié)告白禮盒生日真干花束擺件 169.00
12 西安鮮花同城速遞520情人節(jié)紅玫瑰生日表白花束禮盒西安花店配送 128.00
13 鮮花速遞同城生日玫瑰花束禮盒花店送花上門北京上海深圳杭州廣州 98.00
14 520情人節(jié)99朵玫瑰花束北京鮮花速遞同城長春天津上海廣州成都店 158.00
15 521人節(jié)99朵紅玫瑰花束上海鮮花速遞同城杭州蘇州北京合肥深圳 98.00
16 520情人節(jié)鮮花速遞 同城配送上海北京廣州沈陽成都99朵紅玫瑰花束 88.00
17 521情人節(jié)99朵紅玫瑰花束鮮花速遞同城重慶成都上海北京生日花店 88.00
18 521深圳鮮花速遞同城玫瑰花束羅湖福田南山寶安龍崗龍華生日送花 88.00
19 鮮花速遞禮盒花束紅玫瑰生日北京同城配送上海南京廣州杭州店全國 98.00
20 菊花茶金絲皇菊黃菊大一朵一杯菊花花茶胎菊特級貢菊去火清熱解毒 45.00
21 生日廣州鮮花速遞99朵紅香檳紫粉白玫瑰花束訂花同城配送混搭花店 68.00
22 保加利亞玫瑰花仿真花束單支美式復古歐式裝飾花假花絹花客廳擺件 68.80
23 上海廣州深圳成都天津南京北京鮮花速遞同城生日玫瑰手提花籃花店 148.00
24 520情人節(jié)鮮花速遞同城99朵紅玫瑰花束青島濟南北京廣州南京成都 158.00
25 成都鮮花同城速遞花店送花配送媽媽玫瑰康乃馨情人節(jié)訂花花束生日 148.00
26 永生花玻璃罩禮盒干花束生日禮物送女友玫瑰花情人節(jié)藍色妖姬520 128.00
27 永生花禮盒玻璃罩玫瑰干花束520情人母親節(jié)康乃馨送女友生日禮物 158.00
28 520情人節(jié)鮮花速遞同城紅玫瑰花束生日禮盒北京上海廣州深圳店送 96.00
29 520情人節(jié)鮮花速遞99朵玫瑰花束生日廣州蘇州重慶上海南京同城送 98.00
30 薔薇花苗藤本月季大花濃香庭院爬藤植物花卉盆栽陽臺玫瑰爬墻四季 16.80
31 買2送1玫瑰花茶女人茶泡水茶花草茶山東平陰干玫瑰花食用袋裝散裝 19.00
32 520情人節(jié)北京天津鮮花速遞同城送花玫瑰花束生日送閨蜜女友芍藥 246.00
33 99朵紅玫瑰花束生日真鮮花速遞同城配送杭州北京上海深圳全國花店 98.00
34 520情人節(jié)鮮花速遞同城玫瑰花束禮盒花店北京上海深圳蘇州杭州 81.60
35 520情人節(jié)杭州鮮花速遞同城玫瑰花繡球混搭花束生日花店送花愛人 118.00
36 鮮花速遞同城520玫瑰花束禮盒生日北京上海廣州深圳店配送花上門 98.00
37 520情人節(jié)北京鮮花速遞同城玫瑰花束天津南京西安石家莊生日花店 98.00
38 鮮花速遞同城99朵紅玫瑰花束深圳上海廣州北京沈陽東莞生日送花店 88.00
39 520情人節(jié)杭州鮮花速遞同城玫瑰花繡球混搭花束送愛人生日訂花店 119.00
40 北京鮮花速遞同城生日玫瑰花束韓式禮盒抱抱桶花籃情人節(jié)花店配送 158.00
41 鮮花速遞同城配送重慶深圳南昌鄭州長沙西安成都99朵紅玫瑰花束店 78.00
42 鮮花速遞同城配送99朵紅玫瑰花束禮盒生日香檳訂花真花合肥六安慶 130.00
43 521情人節(jié)紅玫瑰花束鮮花速遞同城青島膠州濰坊煙臺濟南生日送花 88.00
44 修正玫瑰荷葉茶葉純干玫瑰花茶袋泡花草組合山楂決明子冬瓜茶 59.90
45 520情人節(jié)鮮花速遞同城全國上海北京生日紅玫瑰花束禮盒配送花店 148.00
46 玫瑰花鮮花云南昆明基地直批直發(fā)新鮮批發(fā)家用水養(yǎng)花束速遞 同城 26.90
47 向日葵花束生日配送鮮花速遞同城花店成都北京上海杭州全國送花 119.00
48 鄭州鮮花速遞同城玫瑰花生日開封洛陽信陽南陽周口520情人節(jié)花束 108.00
49 鄭州鮮花速遞同城玫瑰花生日開封洛陽信陽南陽周口520情人節(jié)花束 108.00
50 修正桂圓紅棗枸杞茶姜茶五寶茶八寶茶花茶包男女組合玫瑰菊花泡茶 56.90
51 520情人節(jié)廣州鮮花速遞同城玫瑰禮盒生日花束深圳花店訂花配送 88.00
52 抱抱桶鮮花速遞南京同城手提花籃玫瑰無錫常州蘇州上海杭州送花店 178.00
53 520情人節(jié)紅香檳玫瑰花束禮盒生日上海鮮花速遞同城訂花店配送花 108.00
54 北京天津生日鮮花速遞同城送花玫瑰花百合花向日葵康乃馨鮮花花束 211.20
55 進口永生花禮盒小王子玫瑰玻璃罩送女友生日520情人節(jié)禮物干花束 125.00
56 成都鮮花店同城速遞紅玫瑰花束重慶西安太原鄭州瀘州綿陽生日配送 55.00
57 520長沙鮮花同城速遞寧鄉(xiāng)株洲湘潭常德永州紅玫瑰禮盒生日送花束 88.00
58 520情人節(jié)鮮花速遞同城上海北京沈陽武漢天津成都99朵紅玫瑰花束 88.00
59 520情人節(jié)鮮花速遞同城 配送北京上海濟南成都重慶沈陽99朵紅玫瑰 98.00
60 520情人節(jié)鮮花速遞同城配送長沙株洲常德衡陽湘潭99朵紅玫瑰花束 88.00
61 520情人節(jié)云南昆明99朵玫瑰花束真鮮花速遞大理麗江同城直發(fā)配送 98.00
62 進口永生花禮盒玻璃罩玫瑰花干花520情人節(jié)禮物送女友生日禮品 138.00
63 云南墨紅玫瑰花冠茶干可食用花茶大朵特級平陰玫瑰花冠茶干花泡茶 29.90
64 紅玫瑰花束禮盒鮮花速遞廣州深圳東莞佛山惠州中山同城生日送花店 88.00
65 520情人節(jié)鮮花速遞同城配送99朵玫瑰花束康乃馨天津河北河西塘沽 98.00
66 99朵玫瑰花束鮮花速遞同城配送沈陽大連鞍山撫順丹東錦州生日 78.00
67 521成都紅玫瑰花束禮盒鮮花速遞同城新都武侯青羊雙流金牛送花店 88.00
68 99朵玫瑰花束鮮花速遞同城配送長春吉林市延吉松原白城通化生日店 78.00
69 云南昆明基地直發(fā)玫瑰花鮮花批發(fā)包郵直批一扎20支家用插花直供 16.90
70 ROSEONLY告白氣球禮盒 永生花玫瑰熊公仔送女友愛人節(jié)日禮物 1799.00
71 永生花禮盒玫瑰花玻璃罩干花520情人節(jié)禮物送女友生日禮品保鮮花 99.00
72 521情人節(jié)紅玫瑰花束鮮花速遞同城合肥蕪湖安慶蚌埠六安阜陽送花 88.00
73 依雯然永生花禮盒玻璃罩情人節(jié)七夕生日告白禮物送女友玫瑰干花 96.00
74 情人節(jié)99玫瑰花束鮮花速遞同城廣州深圳東莞佛山珠海中山江門生日 149.45
75 鮮花同城速遞99朵紅玫瑰花束上海北京杭州花店表白求婚生日禮盒 157.84
76 進口永生花禮盒玻璃罩玫瑰情人節(jié)520生日禮物干花花束擺件送女友 299.00
77 THE BEAST/野獸派吊帶裙天使臉頰小貓音樂永生花禮盒禮物生日禮物 2299.00
78 花店同城送花 520玫瑰花禮盒朋友生日鮮花速遞 上海混搭花盒配送 358.00
79 99朵紅玫瑰鮮花速遞同城花束生日鮮花愛情鮮花配送送女友九十九支 388.00
80 烏魯木齊鮮花速遞99朵紅粉玫瑰花束生日禮盒天山新市同城配送花店 158.00
81 520情人節(jié)杭州鮮花速遞同城玫瑰花繡球混搭花束生日訂花店送上門 118.00
82 521情人節(jié)紅玫瑰花束禮盒鮮花速遞同城武漢長沙杭州蘇州生日送花 88.00
83 521情人節(jié)鮮花速遞玫瑰禮盒生日花束上海北京深圳杭州花店同城送 108.00
84 玫瑰花束南昌鮮花速遞同城贛州萍鄉(xiāng)九江上饒宜春吉安景德鎮(zhèn)情人節(jié) 129.00
85 情人節(jié)99玫瑰花束長沙鮮花速遞同城株洲常德衡陽湘潭岳陽益陽生日 102.90
86 THE BEAST/野獸派星座項鏈千葉玫瑰永生花禮盒生日禮物 580.00
87 香檳玫瑰百合花北京鮮花同城速遞廣州上海鮮花店南昌寧波蘇州送花 138.00
88 養(yǎng)中和桂圓紅棗枸杞茶玫瑰花茶花草茶組合女人泡水喝飲品15袋盒裝 39.90
89 仿真玫瑰花客廳裝飾電視柜插花擺設絹花單支塑料假花花束干花擺件 24.90
90 玫瑰花苗大花帶花苞花卉觀花綠植物盆栽月季薔薇室內庭院陽臺四季 5.80
91 520情人節(jié)沈陽鮮花同城速遞混搭花束生日鮮花康乃馨繡球玫瑰歐式 118.00
92 521情人節(jié)南京鮮花速遞同城紅玫瑰花束武漢合肥上海蘇州生日送花 78.00

總結

以上是生活随笔為你收集整理的python爬虫学习笔记(三)——淘宝商品比价实战(爬取成功)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。