前言

以前寫爬蟲都是用requests包，雖然很好用，不過還是要封裝一些header啊什么的，也沒有用過無頭瀏覽器，今天偶然接觸了一下。

原因是在處理一個(gè)錯(cuò)誤的時(shí)候，用到了幾個(gè)以前沒有用過的工具；這幾個(gè)工具也挺常見的，在這里一起總結(jié)一下。包括以下幾個(gè)：

selenium

requests-html

selenium

簡介

selenium是一個(gè)網(wǎng)頁自動化測試的工具，既然是網(wǎng)頁測試的，那么肯定支持各種瀏覽器了，常見的Firefox/Chrome/Safari都支持；當(dāng)然，也需要你下載對應(yīng)瀏覽器的驅(qū)動了。下面簡單說一下他的使用方式。

安裝

使用pip install selenium安裝selenium

安裝對應(yīng)瀏覽器驅(qū)動，chrome的可以去這里下載

把驅(qū)動copy到/usr/local/bin下（非必須，不拷貝的話在使用的時(shí)候需要制定驅(qū)動的路徑）

簡單使用

'''

遇到問題沒人解答？小編創(chuàng)建了一個(gè)Python學(xué)習(xí)交流QQ群：778463939

尋找有志同道合的小伙伴，互幫互助,群里還有不錯(cuò)的視頻學(xué)習(xí)教程和PDF電子書！

'''

from selenium import webdriver

driver = webdriver.chrome.webdriver.WebDriver()

driver.get("https://www.lagou.com/jobs/3490584.html")

# 獲取源碼

a = driver.page_source.encode('utf-8')

# 查找資源/tag

driver.find_element_by_xpath(u"//img[@alt='強(qiáng)化學(xué)習(xí) (Reinforcement Learning)']").click()

driver.find_element_by_link_text("About").click()

# 截圖

driver.get_screenshot_as_file("./img/sreenshot1.png")

requests-html

簡介

是不是看見requests很熟悉，沒錯(cuò)，這個(gè)就是會拍照又會寫代碼的requests的作者寫的又一個(gè)庫；

這個(gè)庫代碼并不是很多，都是基于其他庫封裝的，lxml/requests啊這些；使用也很簡單，遵循了他的宗旨：for humans

安裝

pip install requests-html

使用

from requests_html import HTMLSession

session = HTMLSession()

r = session.get('https://python.org/')

# 獲取頁面上的鏈接

r.html.links

r.html.absolute_links

# 用css選擇器選擇一個(gè)元素

about = r.html.find('#about', first=True)

print(about.text)

# xpath

r.html.xpath('a')

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的python爬虫常见报错_对Python爬虫常见工具总结，欢迎补充的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。