python bs4模块_python爬虫之Beautifulsoup模块用法详解
什么是beautifulsoup:
是一個(gè)可以從HTML或XML文件中提取數(shù)據(jù)的Python庫(kù)。它能夠通過(guò)你喜歡的轉(zhuǎn)換器實(shí)現(xiàn)慣用的文檔導(dǎo)航，查找，修改文檔的方式。(官方)
beautifulsoup是一個(gè)解析器，可以特定的解析出內(nèi)容，省去了我們編寫正則表達(dá)式的麻煩。
這里我們用的是bs4：
1、導(dǎo)入模塊：
from bs4 import beautifulsoup
2、選擇解析器解析指定內(nèi)容：
soup=beautifulsoup(解析內(nèi)容,解析器)
常用解析器：html.parser,lxml,xml,html5lib
有時(shí)候需要安裝安裝解析器：比如pip3 install lxml
BeautifulSoup默認(rèn)支持Python的標(biāo)準(zhǔn)HTML解析庫(kù)，但是它也支持一些第三方的解析庫(kù)：
解析器之間的區(qū)別(此處摘自官方文檔)
Beautiful Soup為不同的解析器提供了相同的接口，但解析器本身時(shí)有區(qū)別的。同一篇文檔被不同的解析器解析后可能會(huì)生成不同結(jié)構(gòu)的樹(shù)型文檔。
區(qū)別最大的是HTML解析器和XML解析器，看下面片段被解析成HTML結(jié)構(gòu)：
BeautifulSoup("")
#
因?yàn)榭諛?biāo)簽 不符合HTML標(biāo)準(zhǔn)，所以解析器把它解析成
同樣的文檔使用XML解析如下(解析XML需要安裝lxml庫(kù))。注意，空標(biāo)簽依然被保留，并且文檔前添加了XML頭，而不是被包含在標(biāo)簽內(nèi)：
BeautifulSoup("", "xml")
# <?xml version="1.0" encoding="utf-8"?>
#
HTML解析器之間也有區(qū)別，如果被解析的HTML文檔是標(biāo)準(zhǔn)格式，那么解析器之間沒(méi)有任何差別，只是解析速度不同，結(jié)果都會(huì)返回正確的文檔樹(shù)。
但是如果被解析文檔不是標(biāo)準(zhǔn)格式，那么不同的解析器返回結(jié)果可能不同。下面例子中，使用lxml解析錯(cuò)誤格式的文檔，結(jié)果
標(biāo)簽被直接忽略掉了：BeautifulSoup("
", "lxml")#
使用html5lib庫(kù)解析相同文檔會(huì)得到不同的結(jié)果：
BeautifulSoup("
", "html5lib")#
html5lib庫(kù)沒(méi)有忽略掉
標(biāo)簽,而是自動(dòng)補(bǔ)全了標(biāo)簽,還給文檔樹(shù)添加了標(biāo)簽.使用pyhton內(nèi)置庫(kù)解析結(jié)果如下：
BeautifulSoup("
", "html.parser")#
與lxml [7] 庫(kù)類似的，Python內(nèi)置庫(kù)忽略掉了
標(biāo)簽，與html5lib庫(kù)不同的是，標(biāo)準(zhǔn)庫(kù)沒(méi)有嘗試創(chuàng)建符合標(biāo)準(zhǔn)的文檔格式，或?qū)⑽臋n片段包含在標(biāo)簽內(nèi)，與lxml不同的是標(biāo)準(zhǔn)庫(kù)甚至連標(biāo)簽都沒(méi)有嘗試去添加。因?yàn)槲臋n片段“
”是錯(cuò)誤格式，所以以上解析方式都能算作”正確”，html5lib庫(kù)使用的是HTML5的部分標(biāo)準(zhǔn)，所以最接近”正確”。不過(guò)所有解析器的結(jié)構(gòu)都能夠被認(rèn)為是”正?！钡?。不同的解析器可能影響代碼執(zhí)行結(jié)果，如果在分發(fā)給別人的代碼中使用了 BeautifulSoup ，那么最好注明使用了哪種解析器，以減少不必要的麻煩。
3、操作
約定soup是beautifulsoup(解析內(nèi)容,解析器)返回的解析對(duì)象。
3.1 使用標(biāo)簽名查找
使用標(biāo)簽名來(lái)獲取結(jié)點(diǎn)：
soup.標(biāo)簽名
使用標(biāo)簽名來(lái)獲取結(jié)點(diǎn)標(biāo)簽名(這個(gè)重點(diǎn)是name，主要用于非標(biāo)簽名式篩選時(shí)，獲取結(jié)果的標(biāo)簽名)：
soup.標(biāo)簽.name
使用標(biāo)簽名來(lái)獲取結(jié)點(diǎn)屬性：
soup.標(biāo)簽.attrs(獲取全部屬性)
soup.標(biāo)簽.attrs[屬性名](獲取指定屬性)
soup.標(biāo)簽[屬性名](獲取指定屬性)
soup.標(biāo)簽.get(屬性名)
使用標(biāo)簽名來(lái)獲取結(jié)點(diǎn)的文本內(nèi)容：
soup.標(biāo)簽.text
soup.標(biāo)簽.string
soup.標(biāo)簽.get_text()
補(bǔ)充1：
上面的篩選方式可以使用嵌套：
print(soup.p.a)#p標(biāo)簽下的a標(biāo)簽
補(bǔ)充2：
以上的name,text,string,attrs等方法都可以使用在當(dāng)結(jié)果是一個(gè)bs4.element.Tag對(duì)象的時(shí)候：
from bs4 import BeautifulSoup
?
html = """
this is a title123
456
advertisements
"""
?
soup = BeautifulSoup(html,'lxml')
?
print("獲取結(jié)點(diǎn)".center(50,'-'))
print(soup.head)#獲取head標(biāo)簽
print(soup.p)#返回第一個(gè)p標(biāo)簽
#獲取結(jié)點(diǎn)名
print("獲取結(jié)點(diǎn)名".center(50,'-'))
print(soup.head.name)
print(soup.find(id='i1').name)
#獲取文本內(nèi)容
print("獲取文本內(nèi)容".center(50,'-'))
print(soup.title.string)#返回title的內(nèi)容
print(soup.title.text)#返回title的內(nèi)容
print(soup.title.get_text())
#獲取屬性
print("-----獲取屬性-----")
print(soup.p.attrs)#以字典形式返回標(biāo)簽的內(nèi)容
print(soup.p.attrs['class'])#以列表形式返回標(biāo)簽的值
print(soup.p['class'])#以列表形式返回標(biāo)簽的值
print(soup.p.get('class'))
?
?
#############
t=soup.title
print(type(t))#
print(t.name)#title
print(t.text)
?
#嵌套選擇:
print(soup.head.title.string)獲取子結(jié)點(diǎn)(直接獲取也會(huì)獲取到'\n'，會(huì)認(rèn)為'\n'也是一個(gè)標(biāo)簽)：
soup.標(biāo)簽.contents(返回值是一個(gè)列表)
soup.標(biāo)簽.children(返回值是一個(gè)可迭代對(duì)象，獲取實(shí)際子結(jié)點(diǎn)需要迭代)
獲取子孫結(jié)點(diǎn)：
soup.標(biāo)簽.descendants(返回值也是一個(gè)可迭代對(duì)象,實(shí)際子結(jié)點(diǎn)需要迭代)
獲取父結(jié)點(diǎn)：
soup.標(biāo)簽.parent
獲取祖先結(jié)點(diǎn)[父結(jié)點(diǎn)，祖父結(jié)點(diǎn)，曾祖父結(jié)點(diǎn)…]:
soup.標(biāo)簽.parents
獲取兄弟結(jié)點(diǎn)：
soup.next_sibling(獲取后面的一個(gè)兄弟結(jié)點(diǎn))
soup.next_siblings(獲取后面所有的兄弟結(jié)點(diǎn))(返回值是一個(gè)可迭代對(duì)象)
soup.previous_sibling(獲取前一兄弟結(jié)點(diǎn))
soup.previous_siblings(獲取前面所有的兄弟結(jié)點(diǎn))(返回值是一個(gè)可迭代對(duì)象)
補(bǔ)充3：
與補(bǔ)充2一樣，上面的函數(shù)都可以使用在當(dāng)結(jié)果是一個(gè)bs4.element.Tag對(duì)象的時(shí)候。
from bs4 import BeautifulSoup
html = """
Title123456
78910
advertisements
aspan
"""
soup = BeautifulSoup(html, 'lxml')
?
#獲取子結(jié)點(diǎn)
print("獲取子結(jié)點(diǎn)".center(50,'-'))
print(soup.p.contents)
print("\n")
c=soup.p.children#返回的是一個(gè)可迭代對(duì)象
for i,child in enumerate(c):
print(i,child)
?
print("獲取子孫結(jié)點(diǎn)".center(50,'-'))
print(soup.p.descendants)
c2=soup.p.descendants
for i,child in enumerate(c2):
print(i,child)
?
print("獲取父結(jié)點(diǎn)".center(50,'-'))
c3=soup.title.parent
print(c3)
?
print("獲取父，祖先結(jié)點(diǎn)".center(50,'-'))
c4=soup.title.parents
print(c4)
for i,child in enumerate(c4):
print(i,child)
?
print("獲取兄弟結(jié)點(diǎn)".center(50,'-'))
print(soup.p.next_sibling)
print(soup.p.previous_sibling)
for i,child in enumerate(soup.p.next_siblings):
print(i,child,end='\t')
for i,child in enumerate(soup.p.previous_siblings):
print(i,child,end='\t')
3.2 使用find\find_all方式
find( name , attrs , recursive , text , **kwargs )
根據(jù)參數(shù)來(lái)找出對(duì)應(yīng)的標(biāo)簽，但只返回第一個(gè)符合條件的結(jié)果。
find_all( name , attrs , recursive , text , **kwargs )
根據(jù)參數(shù)來(lái)找出對(duì)應(yīng)的標(biāo)簽，但只返回所有符合條件的結(jié)果。
篩選條件參數(shù)介紹：
name：為標(biāo)簽名,根據(jù)標(biāo)簽名來(lái)篩選標(biāo)簽
attrs：為屬性,，根據(jù)屬性鍵值對(duì)來(lái)篩選標(biāo)簽，賦值方式可以為:屬性名=值,attrs={屬性名:值}(但由于class是python關(guān)鍵字，需要使用class_)
text：為文本內(nèi)容，根據(jù)指定文本內(nèi)容來(lái)篩選出標(biāo)簽，單獨(dú)使用text作為篩選條件，只會(huì)返回text，所以一般與其他條件配合使用。
recursive：指定篩選是否遞歸，當(dāng)為False時(shí)，不會(huì)在子結(jié)點(diǎn)的后代結(jié)點(diǎn)中查找，只會(huì)查找子結(jié)點(diǎn)。
獲取到結(jié)點(diǎn)后的結(jié)果是一個(gè)bs4.element.Tag對(duì)象，所以對(duì)于獲取屬性、文本內(nèi)容、標(biāo)簽名等操作可以參考前面“使用標(biāo)簽篩選結(jié)果”時(shí)涉及的方法
from bs4 import BeautifulSoup
html = """
Title123456
78910
advertisements
aspan
"""
soup = BeautifulSoup(html, 'lxml')
print("---------------------")
print(soup.find_all('a'),end='\n\n')
print(soup.find_all('a')[0])
print(soup.find_all(attrs={'id':'i1'}),end='\n\n')
print(soup.find_all(class_='news'),end='\n\n')
print(soup.find_all('a',text='123456'))#
print(soup.find_all(id='i2',recursive=False),end='\n\n')#
a=soup.find_all('a')
print(a[0].name)
print(a[0].text)
print(a[0].attrs)
3.3 使用select篩選(select使用CSS選擇規(guī)則)
soup.select(‘標(biāo)簽名'),代表根據(jù)標(biāo)簽來(lái)篩選出指定標(biāo)簽。
CSS中#xxx代表篩選id，soup.select(‘#xxx')代表根據(jù)id篩選出指定標(biāo)簽,返回值是一個(gè)列表。
CSS中.###代表篩選class，soup.select('.xxx')代表根據(jù)class篩選出指定標(biāo)簽,返回值是一個(gè)列表。
嵌套select: soup.select(“#xxx .xxxx”)，如(“#id2 .news”)就是id=”id2”標(biāo)簽下class=”news的標(biāo)簽，返回值是一個(gè)列表。
獲取到結(jié)點(diǎn)后的結(jié)果是一個(gè)bs4.element.Tag對(duì)象，所以對(duì)于獲取屬性、文本內(nèi)容、標(biāo)簽名等操作可以參考前面“使用標(biāo)簽篩選結(jié)果”時(shí)涉及的方法。
from bs4 import BeautifulSoup
html = """
Title123456
78910
advertisements
aspan
"""
soup = BeautifulSoup(html, 'lxml')
sp1=soup.select('span')#返回結(jié)果是一個(gè)列表，列表的元素是bs4元素標(biāo)簽對(duì)象
print(soup.select("#i2"),end='\n\n')
print(soup.select(".news"),end='\n\n')
print(soup.select(".news #i2"),end='\n\n')
print(type(sp1),type(sp1[0]))
print(sp1[0].name)#列表里面的元素才是bs4元素標(biāo)簽對(duì)象
print(sp1[0].attrs)
print(sp1[0]['class'])
補(bǔ)充4：
對(duì)于代碼不齊全的情況下，可以使用soup.prettify()來(lái)自動(dòng)補(bǔ)全,一般情況下建議使用，以避免代碼不齊。
from bs4 import BeautifulSoup
html = """
Title123456
78910
advertisements
aspan
"""
soup = BeautifulSoup(html, 'lxml')
c=soup.prettify()#上述html字符串中末尾缺少 和
print(c)
如果想要獲得更詳細(xì)的介紹，可以參考官方文檔，令人高興的是，有了比較簡(jiǎn)易的中文版：
文源網(wǎng)絡(luò)，僅供學(xué)習(xí)之用，如有侵權(quán)，聯(lián)系刪除。
我將優(yōu)質(zhì)的技術(shù)文章和經(jīng)驗(yàn)總結(jié)都匯集在了我的公眾號(hào)【Python圈子】里。
在學(xué)習(xí)Python的道路上肯定會(huì)遇見(jiàn)困難，別慌，我這里有一套學(xué)習(xí)資料，包含40+本電子書，600+個(gè)教學(xué)視頻，涉及Python基礎(chǔ)、爬蟲(chóng)、框架、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等，不怕你學(xué)不會(huì)！還有學(xué)習(xí)交流群，一起學(xué)習(xí)進(jìn)步~
總結(jié)
以上是生活随笔為你收集整理的python bs4模块_python爬虫之Beautifulsoup模块用法详解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： npoi 设定视图为分页预览_按班级分页
- 下一篇： 字符串属于python有序序列支持双向索