當(dāng)前位置：首頁 > 编程语言 > python >内容正文

python

Python爬虫之旅_(数据解析)_Xpath

發(fā)布時(shí)間：2024/9/30 python 31 豆豆

生活随笔收集整理的這篇文章主要介紹了 Python爬虫之旅_(数据解析)_Xpath 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

前言：

上次學(xué)習(xí)過了BeautifulSoup進(jìn)行解析的，這次就來學(xué)習(xí)一下Xpath進(jìn)行解析

0x00:了解Xpath

Xpath解析：最常用且最高效的一種解析方式

Xpath解析原理：——1.實(shí)例化一個(gè)etree對象，且需要將解析的頁面源碼數(shù)據(jù)加載到該數(shù)據(jù)中。——2.調(diào)用etree對象中的xpath方法結(jié)合xpath表達(dá)式實(shí)現(xiàn)標(biāo)簽的定位和內(nèi)容的捕獲如何實(shí)例化一個(gè)etree對象——1.將本地的html文檔中的源碼數(shù)據(jù)加載到etree對象中：etree.parse(filePath)——2.可以將從互聯(lián)網(wǎng)上獲取的源碼數(shù)據(jù)加載到該對象中：etree.HTML('page_text')——xpath('xpath表達(dá)式') xpath表達(dá)式—— /:表示的是從根節(jié)點(diǎn)開始定位，表示的是一個(gè)層級(jí)。—— // :表示的是多個(gè)層級(jí),可以從任意位置開始定位—— 屬性定位: //div[@class='dingpai']tag[@attrName="attrValue"]——索引定位://div[@class="dingpai"]/p[3] 索引是從1開始的——取文本:—— /test() 獲取的是標(biāo)簽中直系的文本內(nèi)容—— //test() ——取屬性:/@attrName//div[@class="dingpai"]//a[1]/@href

測試文本：

練習(xí)代碼：

import requests from lxml import etree if __name__ == '__main__':#實(shí)例化一個(gè)etree對象，且將被解析的源碼加載到該對象中tree = etree.parse('test.html')# r = tree.xpath('/html/div/li')# r = tree.xpath('/html//li')# r = tree.xpath('//li')# r = tree.xpath('//div[@class="dingpai"]')# r = tree.xpath('//div[@class="dingpai"]/p[3]')#加[0]是為了得到字符串# r = tree.xpath('//div[@class="dingpai"]/li/a[3]/text()')[0]# r = tree.xpath('//a[3]//text()')# r = tree.xpath('//div[@class="dingpai"]//a[1]/@href')[0]print(r)

0x01:爬取58二手房房源信息

這次就使用Xpath來爬取一下58同城房源的標(biāo)題

通過分析會(huì)發(fā)現(xiàn)這樣的層級(jí)關(guān)系,各個(gè)房源的信息標(biāo)題都存在這個(gè)層級(jí)之中
ul class="house-list-wrap">li>div class="list-info">h2 class="title">a
分析好之后，便可以使用xpath來進(jìn)行解析

import requests from lxml import etreeif __name__ == '__main__':url = 'https://jiaozuo.58.com/ershoufang/'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}content = requests.get(url=url,headers=headers).text#數(shù)據(jù)解析tree = etree.HTML(content)#存儲(chǔ)的是li標(biāo)簽的對象li_list = tree.xpath('//ul[@class="house-list-wrap"]/li')fp = open('58.txt','w',encoding='utf-8')for li in li_list:#從li標(biāo)簽開始調(diào)用#./表示的是局部的li標(biāo)簽,直接定位到局部title = li.xpath('./div[2]/h2/a/text()')[0]# print(title)price = li.xpath('./div[3]/p/b/text()')[0]print(price+"萬")fp.write(title+price+'萬'+'\n')

這樣最需要注意的便是這個(gè)./，這個(gè)可以直接定位到當(dāng)前的li標(biāo)簽而如果使用//的話就又從跟目錄解析了

爬取成功

0x02:爬取4K超清壁紙

利用Xpath來爬取4K超強(qiáng)壁紙，首先還是需要分析一下：

我們需要爬取是圖片的鏈接和名稱，F12可以看到層級(jí)關(guān)系是這樣的

div class="slist" >ul>li>a

分析一個(gè)其他用循環(huán)即可，下面就來寫出爬取腳本：

import requests from lxml import etreeif __name__ == '__main__':url = 'http://pic.netbian.com/4kdongman/'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}repose = requests.get(url=url,headers=headers).text#進(jìn)行實(shí)例化tree = etree.HTML(repose)#得到所有的li列表li_list = tree.xpath('//div[@class="slist"]/ul/li')for li in li_list:#得到圖片的url，但這里不是完整的，所以需要拼接一下img_url = 'http://pic.netbian.com'+li.xpath('./a/img/@src')[0]#得到圖片的名稱imge_name = li.xpath('./a/img/@alt')[0]+'.jpg'print(imge_name+':'+img_url)

這樣就可以得到圖片的鏈接和名稱了，但是出現(xiàn)了一個(gè)問題

名稱發(fā)生了亂碼，這里就需要自己手動(dòng)設(shè)置響應(yīng)數(shù)據(jù)的編碼格式了

repose = requests.get(url=url,headers=headers)#手動(dòng)進(jìn)行設(shè)置響應(yīng)數(shù)據(jù)的編碼格式repose.encoding = 'gbk'page_txt = repose.text

這是第一種方法，對整體的響應(yīng)數(shù)據(jù)設(shè)置特定的編碼格式

#通用處理中文亂碼的解決方法 image_name = imge_name.encode('iso-8859-1').decode('gbk')

接下來就只需請求圖片的url，進(jìn)行爬取即可

import requests from lxml import etree import os if __name__ == '__main__':url = 'http://pic.netbian.com/4kdongman/'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}repose = requests.get(url=url,headers=headers)#手動(dòng)進(jìn)行設(shè)置響應(yīng)數(shù)據(jù)的編碼格式repose.encoding = 'gbk'page_text = repose.text#進(jìn)行實(shí)例化tree = etree.HTML(page_text)#得到所有的li列表li_list = tree.xpath('//div[@class="slist"]/ul/li')#創(chuàng)建一個(gè)文件夾if not os.path.exists('pic'):os.mkdir('pic')for li in li_list:#得到圖片的url，但這里不是完整的，所以需要拼接一下img_url = 'http://pic.netbian.com'+li.xpath('./a/img/@src')[0]#得到圖片的名稱imge_name = li.xpath('./a/img/@alt')[0]+'.jpg'#通用處理中文亂碼的解決方法# image_name = imge_name.encode('iso-8859-1').decode('gbk')# print(imge_name,img_url)#請求圖片，持久化存儲(chǔ).二進(jìn)制數(shù)據(jù)用contentimg_data = requests.get(url=img_url,headers=headers).content#圖片路徑img_path = 'pic/'+imge_name#進(jìn)行IO操作，將圖片存儲(chǔ)到文件夾中with open(img_path,'wb') as fp:fp.write(img_data)print(imge_name,"下載成功")

爬取成功

（PS:看看就行，分辨率太小）

0x03:使用|運(yùn)算符獲取相同信息

在爬取的過程中就會(huì)發(fā)現(xiàn)爬取相同的信息（如熱門城市和全部城市），但信息分別位于不同的標(biāo)簽中,如果我們使用兩個(gè)語句去進(jìn)行解析，在這個(gè)過程還要再次循環(huán)，效率有點(diǎn)低。遇到這種問題便可以使用如下這種語句

#div/ul/li/a 熱門城市a標(biāo)簽的層級(jí)關(guān)系 #div/ul/div[2]/li/a 全部城市a標(biāo)簽的層級(jí)關(guān)系使用一行代碼解析全部 tree.xpath('//div/ul/li/a | div/ul/div[2]/li/a') 中間添加一個(gè)|運(yùn)算符進(jìn)行分割即可獲取全部

0x04:爬取各個(gè)城市的空氣質(zhì)量

分析和之前一樣，就不再敘述

import requests from lxml import etreeif __name__ == '__main__':url = 'http://www.tianqi.com/air/?o=desc'headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}reponse = requests.get(url=url,headers=headers).text#實(shí)例化一個(gè)對象tree= etree.HTML(reponse)#解析出所有的li標(biāo)簽列表li_list = tree.xpath('//div[@class="wrapbox newsmain"]//ul[@class="aqi_ranklist"]/li')fp = open('城市空氣質(zhì)量.txt','w',encoding='utf-8')for li in li_list:city_sort = li.xpath('./span[1]/text()')[0]# print(city_sort)city_name = li.xpath('./span/a/text()')[0]# print(city_name)city_province = li.xpath('./span[3]/text()')[0]# print(city_province)city_air = li.xpath('./span[4]/text()')[0]# print(city_air)air_condition = li.xpath('./span[5]/i/text()')[0]# print(air_condition)fp.write(city_sort+' '+city_name+' '+city_province+' '+city_air+' '+air_condition+'\n')print(city_sort+' '+city_name+' '+city_province+' '+city_air+' '+air_condition+'\n') print('Over!')

爬取成功

總結(jié)

這次就學(xué)習(xí)到這里，有空繼續(xù)學(xué)習(xí)！！！

總結(jié)

以上是生活随笔為你收集整理的Python爬虫之旅_(数据解析)_Xpath的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。