python中的Xpath方法总结
說在前面:
由于目前一直在做爬蟲,之前常使用requests模塊,現在改用scrapy框架。在解析頁面元素的時候,本人常常喜歡使用xpath,所以為了以后忘記語法,做一個總結,便于查看。
1.xpath介紹
XPath,全稱 XML Path Language,即 XML 路徑語言,它是一門在 XML 文檔中查找信息的語言。XPath 可用來在 XML 文檔中對元素和屬性進行遍歷。
- XPath 使用路徑表達式在 XML 文檔中進行導航
- XPath 包含一個標準函數庫
- XPath 是 XSLT 中的主要元素
- XPath 是一個 W3C 標準
2.節點(Node)
2.1 在 XPath 中,有七種類型的節點:元素、屬性、文本、命名空間、處理指令、注釋以及文檔(根)節點。XML 文檔是被作為節點樹來對待的。樹的根被稱為文檔節點或者根節點。
看懂可能更加清楚。
2.2 xpath中節點的關系
2.3 xpath中節點選擇的工具
Chrome插件 XPath Helper,下載地址:https://pan.baidu.com/s/1UM94dcwgus4SgECuoJ-Jcg 密碼:337b
3.xpath語法
下面列出了最常用的表達式
| nodename | 選取此節點的所有子節點 |
| / | 從根節點選取 |
| // | 從匹配選擇的當前節點選擇文檔中的節點,而不考慮它們的位置 |
| . | 選取當前節點 |
| … | 選取當前節點的父節點 |
| @ | 選取屬性 |
| text() | 選取文本 |
實例
<?xml version="1.0" encoding="ISO-8859-1"?> <bookstore> <book><title lang="eng">Harry Potter</title><price>29.99</price> </book><book><title lang="eng">Learning XML</title><price>39.95</price> </book> </bookstore>| bookstore | 選擇bookstore元素。 |
| /bookstore | 選取根元素 bookstore。注釋:假如路徑起始于正斜杠( / ),則此路徑始終代表到某元素的絕對路徑! |
| bookstore/book | 選取屬于 bookstore 的子元素的所有 book 元素。 |
| //book | 選取所有 book 子元素,而不管它們在文檔中的位置。 |
| bookstore//book | 選擇屬于 bookstore 元素的后代的所有 book 元素,而不管它們位于 bookstore 之下的什么位置。 |
| //book/title/@lang | 選擇所有的book下面的title中的lang屬性的值。 |
| //book/title/text() | 選擇所有的book下面的title的文本。 |
4.謂語 & 查找特定的節點
| /bookstore/book[1] | 選取屬于 bookstore 子元素的第一個 book 元素。 |
| /bookstore/book[last()] | 選取屬于 bookstore 子元素的最后一個 book 元素。 |
| /bookstore/book[last()-1] | 選取屬于 bookstore 子元素的倒數第二個 book 元素。 |
| /bookstore/book[position()< 3] | 選取最前面的兩個屬于 bookstore 元素的子元素的 book 元素。 |
| //title[@lang] | 選取所有擁有名為 lang 的屬性的 title 元素。 |
| /bookstore/book[price>35.00] | 選取 bookstore 元素的所有 book 元素,且其中的 price 元素的值須大于 35.00。 |
| /bookstore/book[price>35.00]/title | 選取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值須大于 35.00。 |
注意點: 在xpath中,第一個元素的位置是1,最后一個元素的位置是last(),倒數第二個是last()-1
5.選取未知節點
| * | 匹配任何元素節點。 |
| @* | 匹配任何屬性節點。 |
| node() | 匹配任何類型的節點。 |
舉例:
| /bookstore/* | 選取 bookstore 元素的所有子元素。 |
| //* | 選取文檔中的所有元素。 |
| //title[@*] | 選取所有帶有屬性的 title 元素。 |
6.選取若干路徑
通過在路徑表達式中使用“|”運算符,可以選取若干個路徑。
| //book/title | //book/price | 選取 book 元素的所有 title 和 price 元素。 |
| //title | //price | 選取文檔中的所有 title 和 price 元素。 |
| /bookstore/book/title | //price | 選取屬于 bookstore 元素的 book 元素的所有 title 元素,以及文檔中所有的 price 元素。 |
7.常用函數
7.1 starts-with() 獲取以xxx開頭的元素
xpath(‘//div[stars-with(@class,”test”)]’)7.2 ends_with() 以xxx結尾
xpath("//input[ends-with(@id,'fuck')]")7.3 contains() 獲取包含xxx的元素
xpath(‘//div[contains(@id,”test”)]’)7.4 and 并且 同時
xpath("//input[@type='submit' and @name='fuck']")7.5 or 或者
xpath("//input[@type='submit' or @name='fuck']")7.6 not 非
xpath("//input[@type='submit' and not(contains(@name,'fuck'))]")7.7 text()
xpath(‘//div[contains(text(),”test”)]’) xpath(‘//div[@id=”“test]/text()’)8.嗯呃呃訥訥
以上資料,都是來源網上,都是總結!以后,有知識,還會繼續補充!!
超強干貨來襲 云風專訪:近40年碼齡,通宵達旦的技術人生總結
以上是生活随笔為你收集整理的python中的Xpath方法总结的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python:langdetect和la
- 下一篇: linux中sz和rz的使用,在服务器和