原文鏈接https://cuiqingcai.com/2621.html

前言

前面我們介紹了 BeautifulSoup 的用法，這個(gè)已經(jīng)是非常強(qiáng)大的庫(kù)了，不過(guò)還有一些比較流行的解析庫(kù)，例如 lxml，使用的是 Xpath 語(yǔ)法，同樣是效率比較高的解析方法。如果大家對(duì) BeautifulSoup 使用不太習(xí)慣的話，可以嘗試下 Xpath。

參考來(lái)源

lxml 用法源自 lxml python 官方文檔，更多內(nèi)容請(qǐng)直接參閱官方文檔，本文對(duì)其進(jìn)行翻譯與整理。 lxml XPath 語(yǔ)法參考 w3school w3school

視頻資源

如果你對(duì) XPath 不熟悉的話，可以看下這個(gè)視頻資源： web 端功能自動(dòng)化定位元素

安裝

pip install lxml

利用 pip 安裝即可

XPath 語(yǔ)法

XPath 是一門在 XML 文檔中查找信息的語(yǔ)言。XPath 可用來(lái)在 XML 文檔中對(duì)元素和屬性進(jìn)行遍歷。XPath 是 W3C XSLT 標(biāo)準(zhǔn)的主要元素，并且 XQuery 和 XPointer 都構(gòu)建于 XPath 表達(dá)之上。

節(jié)點(diǎn)關(guān)系

（1）父（Parent）

每個(gè)元素以及屬性都有一個(gè)父。 在下面的例子中，book 元素是 title、author、year 以及 price 元素的父：

<book><title>Harry Potter</title><author>J K. Rowling</author><year>2005</year><price>29.99</price> </book>

（2）子（Children）

元素節(jié)點(diǎn)可有零個(gè)、一個(gè)或多個(gè)子。 在下面的例子中，title、author、year 以及 price 元素都是 book 元素的子：

<book><title>Harry Potter</title><author>J K. Rowling</author><year>2005</year><price>29.99</price> </book>

（3）同胞（Sibling）

擁有相同的父的節(jié)點(diǎn) 在下面的例子中，title、author、year 以及 price 元素都是同胞：

<book><title>Harry Potter</title><author>J K. Rowling</author><year>2005</year><price>29.99</price> </book>

（4）先輩（Ancestor）

某節(jié)點(diǎn)的父、父的父，等等。 在下面的例子中，title 元素的先輩是 book 元素和 bookstore 元素：

<bookstore><book><title>Harry Potter</title><author>J K. Rowling</author><year>2005</year><price>29.99</price> </book> ## （5）后代（Descendant） 某個(gè)節(jié)點(diǎn)的子，子的子，等等。 在下面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素： <bookstore><book><title>Harry Potter</title><author>J K. Rowling</author><year>2005</year><price>29.99</price> </book></bookstore>

選取節(jié)點(diǎn)

XPath 使用路徑表達(dá)式在 XML 文檔中選取節(jié)點(diǎn)。節(jié)點(diǎn)是通過(guò)沿著路徑或者 step 來(lái)選取的。

下面列出了最有用的路徑表達(dá)式：

表達(dá)式描述

nodename	選取此節(jié)點(diǎn)的所有子節(jié)點(diǎn)。
/	從根節(jié)點(diǎn)選取。
//	從匹配選擇的當(dāng)前節(jié)點(diǎn)選擇文檔中的節(jié)點(diǎn)，而不考慮它們的位置。
.	選取當(dāng)前節(jié)點(diǎn)。
..	選取當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)。
@	選取屬性。

實(shí)例 在下面的表格中，我們已列出了一些路徑表達(dá)式以及表達(dá)式的結(jié)果：

路徑表達(dá)式結(jié)果

bookstore	選取 bookstore 元素的所有子節(jié)點(diǎn)。
/bookstore	選取根元素 bookstore。注釋：假如路徑起始于正斜杠 (/)，則此路徑始終代表到某元素的絕對(duì)路徑！
bookstore/book	選取屬于 bookstore 的子元素的所有 book 元素。
//book	選取所有 book 子元素，而不管它們?cè)谖臋n中的位置。
bookstore//book	選擇屬于 bookstore 元素的后代的所有 book 元素，而不管它們位于 bookstore 之下的什么位置。
//@lang	選取名為 lang 的所有屬性。

謂語(yǔ)（Predicates）

謂語(yǔ)用來(lái)查找某個(gè)特定的節(jié)點(diǎn)或者包含某個(gè)指定的值的節(jié)點(diǎn)。 謂語(yǔ)被嵌在方括號(hào)中。 實(shí)例 在下面的表格中，我們列出了帶有謂語(yǔ)的一些路徑表達(dá)式，以及表達(dá)式的結(jié)果：

路徑表達(dá)式結(jié)果

/bookstore/book[1]	選取屬于 bookstore 子元素的第一個(gè) book 元素。
/bookstore/book[last()]	選取屬于 bookstore 子元素的最后一個(gè) book 元素。
/bookstore/book[last()-1]	選取屬于 bookstore 子元素的倒數(shù)第二個(gè) book 元素。
/bookstore/book[position() < 3]	選取最前面的兩個(gè)屬于 bookstore 元素的子元素的 book 元素。
//title[@lang]	選取所有擁有名為 lang 的屬性的 title 元素。
//title[@lang=’eng’]	選取所有 title 元素，且這些元素?fù)碛兄禐?eng 的 lang 屬性。
/bookstore/book[price>35.00]	選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大于 35.00。
/bookstore/book[price>35.00]/title	選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大于 35.00。

選取未知節(jié)點(diǎn)

XPath 通配符可用來(lái)選取未知的 XML 元素。

通配符描述

*	匹配任何元素節(jié)點(diǎn)。
@*	匹配任何屬性節(jié)點(diǎn)。
node()	匹配任何類型的節(jié)點(diǎn)。

實(shí)例 在下面的表格中，我們列出了一些路徑表達(dá)式，以及這些表達(dá)式的結(jié)果：

路徑表達(dá)式結(jié)果

/bookstore/*	選取 bookstore 元素的所有子元素。
//*	選取文檔中的所有元素。
//title[@*]	選取所有帶有屬性的 title 元素。

選取若干路徑

通過(guò)在路徑表達(dá)式中使用 “|” 運(yùn)算符，您可以選取若干個(gè)路徑。 實(shí)例 在下面的表格中，我們列出了一些路徑表達(dá)式，以及這些表達(dá)式的結(jié)果：

路徑表達(dá)式結(jié)果

//book/title | //book/price	選取 book 元素的所有 title 和 price 元素。
//title | //price	選取文檔中的所有 title 和 price 元素。
/bookstore/book/title | //price	選取屬于 bookstore 元素的 book 元素的所有 title 元素，以及文檔中所有的 price 元素。

XPath 運(yùn)算符

下面列出了可用在 XPath 表達(dá)式中的運(yùn)算符：

運(yùn)算符描述實(shí)例返回值

|	計(jì)算兩個(gè)節(jié)點(diǎn)集	//book | //cd	返回所有擁有 book 和 cd 元素的節(jié)點(diǎn)集
+	加法	6 + 4	10
-	減法	6 - 4	2
*	乘法	6 * 4	24
div	除法	8 div 4	2
=	等于	price=9.80	如果 price 是 9.80，則返回 true。如果 price 是 9.90，則返回 false。
!=	不等于	price!=9.80	如果 price 是 9.90，則返回 true。如果 price 是 9.80，則返回 false。
<	小于	price<9.80	如果 price 是 9.00，則返回 true。如果 price 是 9.90，則返回 false。
<=	小于或等于	price<=9.80	如果 price 是 9.00，則返回 true。如果 price 是 9.90，則返回 false。
>	大于	price>9.80	如果 price 是 9.90，則返回 true。如果 price 是 9.80，則返回 false。
>=	大于或等于	price>=9.80	如果 price 是 9.90，則返回 true。如果 price 是 9.70，則返回 false。
or	或	price=9.80 or price=9.70	如果 price 是 9.80，則返回 true。如果 price 是 9.50，則返回 false。
and	與	price>9.00 and price<9.90	如果 price 是 9.80，則返回 true。如果 price 是 8.50，則返回 false。
mod	計(jì)算除法的余數(shù)	5 mod 2	1

lxml 用法

初步使用

首先我們利用它來(lái)解析 HTML 代碼，先來(lái)一個(gè)小例子來(lái)感受一下它的基本用法。

from lxml import etree text = ''' <div><ul><li class="item-0"><a href="link1.html">first item</a></li><li class="item-1"><a href="link2.html">second item</a></li><li class="item-inactive"><a href="link3.html">third item</a></li><li class="item-1"><a href="link4.html">fourth item</a></li><li class="item-0"><a href="link5.html">fifth item</a></ul></div> ''' html = etree.HTML(text) result = etree.tostring(html) print(result)

首先我們使用 lxml 的 etree 庫(kù)，然后利用 etree.HTML 初始化，然后我們將其打印出來(lái)。 其中，這里體現(xiàn)了 lxml 的一個(gè)非常實(shí)用的功能就是自動(dòng)修正 html 代碼，大家應(yīng)該注意到了，最后一個(gè) li 標(biāo)簽，其實(shí)我把尾標(biāo)簽刪掉了，是不閉合的。不過(guò)，lxml 因?yàn)槔^承了 libxml2 的特性，具有自動(dòng)修正 HTML 代碼的功能。 所以輸出結(jié)果是這樣的

<html><body> <div><ul><li class="item-0"><a href="link1.html">first item</a></li><li class="item-1"><a href="link2.html">second item</a></li><li class="item-inactive"><a href="link3.html">third item</a></li><li class="item-1"><a href="link4.html">fourth item</a></li><li class="item-0"><a href="link5.html">fifth item</a></li> </ul></div></body></html>

不僅補(bǔ)全了 li 標(biāo)簽，還添加了 body，html 標(biāo)簽。

文件讀取

除了直接讀取字符串，還支持從文件讀取內(nèi)容。比如我們新建一個(gè)文件叫做 hello.html，內(nèi)容為

<div><ul><li class="item-0"><a href="link1.html">first item</a></li><li class="item-1"><a href="link2.html">second item</a></li><li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li><li class="item-1"><a href="link4.html">fourth item</a></li><li class="item-0"><a href="link5.html">fifth item</a></li></ul></div>

利用 parse 方法來(lái)讀取文件。

from lxml import etree html = etree.parse('hello.html') result = etree.tostring(html, pretty_print=True) print(result)

同樣可以得到相同的結(jié)果。

XPath 實(shí)例測(cè)試

依然以上一段程序?yàn)槔?/p>

（1）獲取所有的標(biāo)簽

from lxml import etree html = etree.parse('hello.html') print type(html) result = html.xpath('//li') print result print len(result) print type(result) print type(result[0]) 運(yùn)行結(jié)果: <type 'lxml.etree._Element'> [<Element li at 0x25a5f48>, <Element li at 0x25a5f08>, <Element li at 0x25a50c8>, <Element li at 0x259f788>, <Element li at 0x259f148>] 5 <type 'list'> <type 'lxml.etree._Element'>

可見，etree.parse 的類型是 ElementTree，通過(guò)調(diào)用 xpath 以后，得到了一個(gè)列表，包含了 5 個(gè)元素，每個(gè)元素都是 Element 類型

（2）獲取標(biāo)簽的所有 class

result = html.xpath('//li/@class') print result['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0']

（3）獲取標(biāo)簽下 href 為 link1.html 的 標(biāo)簽

result = html.xpath('//li/a[@href="link1.html"]') print result[<Element a at 0x2615f48>]

（4）獲取標(biāo)簽下的所有標(biāo)簽

注意這么寫是不對(duì)的

result = html.xpath('//li/span')

因?yàn)?/ 是用來(lái)獲取子元素的，而 并不是標(biāo)簽下的所有元素，所以，要用雙斜杠

result = html.xpath('//li//span') print result[<Element span at 0x25a5f08>]

（5）獲取標(biāo)簽下的所有 class屬性值，不包括標(biāo)簽

result = html.xpath('//li/a//@class') print result['blod']

（6）獲取最后一個(gè)li標(biāo)簽的子a標(biāo)簽的href屬性值

result = html.xpath('//li[last()]/a/@href') print result['link5.html']

（7）獲取倒數(shù)第二個(gè)元素的子標(biāo)簽內(nèi)容

result = html.xpath('//li[last()-1]/a') print result[0].textfourth item

（8）獲取 class 為 bold 的標(biāo)簽名

result = html.xpath('//*[@class="bold"]') print result[0].tagspan

通過(guò)以上實(shí)例的練習(xí)，相信大家對(duì) XPath 的基本用法有了基本的了解。也可以利用 text 方法來(lái)獲取元素的內(nèi)容。 大家多加練習(xí)！

結(jié)語(yǔ)

XPath 是一個(gè)非常好用的解析方法，同時(shí)也作為爬蟲學(xué)習(xí)的基礎(chǔ)，在后面的 selenium 以及 scrapy 框架中都會(huì)涉及到這部分知識(shí)，希望大家可以把它的語(yǔ)法掌握清楚，為后面的深入研究做好鋪墊。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的Python 爬虫利器三之 Xpath 语法与 lxml 库的用法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。