第14讲：Selenium 的基本使用
上個課時我們講解了 Ajax 的分析方法，利用 Ajax 接口我們可以非常方便地完成數(shù)據(jù)的爬取。只要我們能找到 Ajax 接口的規(guī)律，就可以通過某些參數(shù)構(gòu)造出對應(yīng)的的請求，數(shù)據(jù)自然就能被輕松爬取到。
但是，在很多情況下，Ajax 請求的接口通常會包含加密的參數(shù)，如 token、sign 等，如：https://dynamic2.scrape.cuiqingcai.com/，它的 Ajax 接口是包含一個 token 參數(shù)的，如圖所示。
由于接口的請求加上了 token 參數(shù)，如果不深入分析并找到 token 的構(gòu)造邏輯，我們是難以直接模擬這些 Ajax 請求的。
此時解決方法通常有兩種，一種是深挖其中的邏輯，把其中 token 的構(gòu)造邏輯完全找出來，再用 Python 復(fù)現(xiàn)，構(gòu)造 Ajax 請求；另外一種方法就是直接通過模擬瀏覽器的方式，繞過這個過程。因為在瀏覽器里面我們是可以看到這個數(shù)據(jù)的，如果能直接把看到的數(shù)據(jù)爬取下來，當然也就能獲取對應(yīng)的信息了。
由于第 1 種方法難度較高，在這里我們就先介紹第 2 種方法，模擬瀏覽器爬取。
這里使用的工具為 Selenium，我們先來了解一下 Selenium 的基本使用方法吧。
Selenium 是一個自動化測試工具，利用它可以驅(qū)動瀏覽器執(zhí)行特定的動作，如點擊、下拉等操作，同時還可以獲取瀏覽器當前呈現(xiàn)的頁面源代碼，做到可見即可爬。對于一些使用 JavaScript 動態(tài)渲染的頁面來說，此種抓取方式非常有效。本課時就讓我們來感受一下它的強大之處吧。
準備工作
本課時以 Chrome 為例來講解 Selenium 的用法。在開始之前，請確保已經(jīng)正確安裝好了 Chrome 瀏覽器并配置好了 ChromeDriver。另外，還需要正確安裝好 Python 的 Selenium 庫。
安裝過程可以參考：https://cuiqingcai.com/5135.html 和 https://cuiqingcai.com/5141.html。
基本使用
準備工作做好之后，首先來看一下 Selenium 有一些怎樣的功能。示例如下：
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait browser = webdriver.Chrome() try: browser.get('https://www.baidu.com') input = browser.find_element_by_id('kw') input.send_keys('Python') input.send_keys(Keys.ENTER) wait = WebDriverWait(browser, 10) wait.until(EC.presence_of_element_located((By.ID, 'content_left'))) print(browser.current_url) print(browser.get_cookies()) print(browser.page_source) finally: browser.close()運行代碼后會自動彈出一個 Chrome 瀏覽器，瀏覽器會跳轉(zhuǎn)到百度，然后在搜索框中輸入 Python，接著跳轉(zhuǎn)到搜索結(jié)果頁，如圖所示。
此時在控制臺的輸出結(jié)果如下：
源代碼過長，在此省略。可以看到，當前我們得到的 URL、Cookies 和源代碼都是瀏覽器中的真實內(nèi)容。
所以說，如果用 Selenium 來驅(qū)動瀏覽器加載網(wǎng)頁的話，就可以直接拿到 JavaScript 渲染的結(jié)果了，不用擔(dān)心使用的是什么加密系統(tǒng)。
下面來詳細了解一下 Selenium 的用法。
聲明瀏覽器對象
Selenium 支持非常多的瀏覽器，如 Chrome、Firefox、Edge 等，還有 Android、BlackBerry 等手機端的瀏覽器。
此外，我們可以用如下方式進行初始化：
from selenium import webdriver browser = webdriver.Chrome() browser = webdriver.Firefox() browser = webdriver.Edge() browser = webdriver.Safari()這樣就完成了瀏覽器對象的初始化并將其賦值為 browser 對象。接下來，我們要做的就是調(diào)用 browser 對象，讓其執(zhí)行各個動作以模擬瀏覽器操作。
訪問頁面
我們可以用 get 方法來請求網(wǎng)頁，只需要把參數(shù)傳入鏈接 URL 即可。比如，這里用 get 方法訪問淘寶，然后打印出源代碼，代碼如下：
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.taobao.com') print(browser.page_source) browser.close()運行后會彈出 Chrome 瀏覽器并且自動訪問淘寶，然后控制臺會輸出淘寶頁面的源代碼，隨后瀏覽器關(guān)閉。
通過這幾行簡單的代碼，我們就可以驅(qū)動瀏覽器并獲取網(wǎng)頁源碼，非常便捷。
查找節(jié)點
Selenium 可以驅(qū)動瀏覽器完成各種操作，比如填充表單、模擬點擊等。舉個例子，當我們想要完成向某個輸入框輸入文字的操作時，首先需要知道這個輸入框在哪，而 Selenium 提供了一系列查找節(jié)點的方法，我們可以用這些方法來獲取想要的節(jié)點，以便執(zhí)行下一步動作或者提取信息。
單個節(jié)點
當我們想要從淘寶頁面中提取搜索框這個節(jié)點，首先要觀察它的源代碼，如圖所示。
可以發(fā)現(xiàn)，它的 id 是 q，name 也是 q，此外還有許多其他屬性。此時我們就可以用多種方式獲取它了。比如，find_element_by_name 代表根據(jù) name 值獲取，find_element_by_id 則是根據(jù) id 獲取，另外，還有根據(jù) XPath、CSS 選擇器等獲取的方式。
我們用代碼實現(xiàn)一下：
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.taobao.com') input_first = browser.find_element_by_id('q') input_second = browser.find_element_by_css_selector('#q') input_third = browser.find_element_by_xpath('//*[@id="q"]') print(input_first, input_second, input_third) browser.close()這里我們使用 3 種方式獲取輸入框，分別是根據(jù) id、CSS 選擇器和 XPath 獲取，它們返回的結(jié)果完全一致。運行結(jié)果如下：
<selenium.webdriver.remote.webelement.WebElement (session="5e53d9e1c8646e44c14c1c2880d424af",element="0.5649563096161541-1")><selenium.webdriver.remote.webelement.WebElement (session="5e53d9e1c8646e44c14c1c2880d424af", element="0.5649563096161541-1")><selenium.webdriver.remote.webelement.WebElement (session="5e53d9e1c8646e44c14c1c2880d424af", element="0.5649563096161541-1")>可以看到，這 3 個節(jié)點的類型是一致的，都是 WebElement。
這里列出所有獲取單個節(jié)點的方法：
find_element_by_id find_element_by_name find_element_by_xpath find_element_by_link_text find_element_by_partial_link_text find_element_by_tag_name find_element_by_class_name find_element_by_css_selector另外，Selenium 還提供了 find_element 這個通用方法，它需要傳入兩個參數(shù)：查找方式 By 和值。實際上，find_element 就是 find_element_by_id 這種方法的通用函數(shù)版本，比如 find_element_by_id(id) 就等價于 find_element(By.ID, id)，二者得到的結(jié)果完全一致。我們用代碼實現(xiàn)一下：
from selenium import webdriver from selenium.webdriver.common.by import By browser = webdriver.Chrome() browser.get('https://www.taobao.com') input_first = browser.find_element(By.ID, 'q') print(input_first) browser.close()這種查找方式的功能和上面列舉的查找函數(shù)完全一致，不過參數(shù)更加靈活。
多個節(jié)點
如果在網(wǎng)頁中只查找一個目標，那么完全可以用 find_element 方法。但如果有多個節(jié)點需要查找，再用 find_element 方法，就只能得到第 1 個節(jié)點了。如果要查找所有滿足條件的節(jié)點，需要用 find_elements 這樣的方法。注意，在這個方法的名稱中，element 多了一個 s，注意區(qū)分。
舉個例子，假如你要查找淘寶左側(cè)導(dǎo)航條的所有條目，就可以這樣來實現(xiàn)：
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.taobao.com') lis = browser.find_elements_by_css_selector('.service-bd li') print(lis) browser.close()運行結(jié)果如下：
[<selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", element="0.09221044033125603-1")>,<selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", element="0.09221044033125603-2")>,<selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", element="0.09221044033125603-3")>...<selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", element="0.09221044033125603-16")>]這里簡化了輸出結(jié)果，中間部分省略。
可以看到，得到的內(nèi)容變成了列表類型，列表中的每個節(jié)點都是 WebElement 類型。
也就是說，如果我們用 find_element 方法，只能獲取匹配的第一個節(jié)點，結(jié)果是 WebElement 類型。如果用 find_elements 方法，則結(jié)果是列表類型，列表中的每個節(jié)點是 WebElement 類型。
這里列出所有獲取多個節(jié)點的方法：
find_elements_by_id find_elements_by_name find_elements_by_xpath find_elements_by_link_text find_elements_by_partial_link_text find_elements_by_tag_name find_elements_by_class_name find_elements_by_css_selector當然，我們也可以直接用 find_elements 方法來選擇，這時可以這樣寫：
lis = browser.find_elements(By.CSS_SELECTOR, '.service-bd li')結(jié)果是完全一致的。
節(jié)點交互
Selenium 可以驅(qū)動瀏覽器來執(zhí)行一些操作，或者說可以讓瀏覽器模擬執(zhí)行一些動作。比較常見的用法有：輸入文字時用 send_keys 方法，清空文字時用 clear 方法，點擊按鈕時用 click 方法。示例如下：
from selenium import webdriver import time browser = webdriver.Chrome() browser.get('https://www.taobao.com') input = browser.find_element_by_id('q') input.send_keys('iPhone') time.sleep(1) input.clear() input.send_keys('iPad') button = browser.find_element_by_class_name('btn-search') button.click()這里首先驅(qū)動瀏覽器打開淘寶，用 find_element_by_id 方法獲取輸入框，然后用 send_keys 方法輸入 iPhone 文字，等待一秒后用 clear 方法清空輸入框，接著再次調(diào)用 send_keys 方法輸入 iPad 文字，之后再用 find_element_by_class_name 方法獲取搜索按鈕，最后調(diào)用 click 方法完成搜索動作。
通過上面的方法，我們就完成了一些常見節(jié)點的動作操作，更多的操作可以參見官方文檔的交互動作介紹 ：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement。
動作鏈
在上面的實例中，一些交互動作都是針對某個節(jié)點執(zhí)行的。比如，對于輸入框，我們調(diào)用它的輸入文字和清空文字方法；對于按鈕，我們調(diào)用它的點擊方法。其實，還有另外一些操作，它們沒有特定的執(zhí)行對象，比如鼠標拖拽、鍵盤按鍵等，這些動作用另一種方式來執(zhí)行，那就是動作鏈。
比如，現(xiàn)在我要實現(xiàn)一個節(jié)點的拖拽操作，將某個節(jié)點從一處拖拽到另外一處，可以這樣實現(xiàn)：
from selenium import webdriver from selenium.webdriver import ActionChains browser = webdriver.Chrome() url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable' browser.get(url) browser.switch_to.frame('iframeResult') source = browser.find_element_by_css_selector('#draggable') target = browser.find_element_by_css_selector('#droppable') actions = ActionChains(browser) actions.drag_and_drop(source, target) actions.perform()首先，打開網(wǎng)頁中的一個拖拽實例，依次選中要拖拽的節(jié)點和拖拽到的目標節(jié)點，接著聲明 ActionChains 對象并將其賦值為 actions 變量，然后通過調(diào)用 actions 變量的 drag_and_drop 方法，再調(diào)用 perform 方法執(zhí)行動作，此時就完成了拖拽操作，如圖所示：
拖拽前頁面
拖拽后頁面
以上兩圖分別為在拖拽前和拖拽后的結(jié)果。
更多的動作鏈操作可以參考官方文檔的動作鏈介紹：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains。
執(zhí)行 JavaScript
Selenium API 并沒有提供實現(xiàn)某些操作的方法，比如，下拉進度條。但它可以直接模擬運行 JavaScript，此時使用 execute_script 方法即可實現(xiàn)，代碼如下：
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.zhihu.com/explore') browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') browser.execute_script('alert("To Bottom")')這里利用 execute_script 方法將進度條下拉到最底部，然后彈出 alert 提示框。
有了這個方法，基本上 API 沒有提供的所有功能都可以用執(zhí)行 JavaScript 的方式來實現(xiàn)了。
獲取節(jié)點信息
前面說過，通過 page_source 屬性可以獲取網(wǎng)頁的源代碼，接著就可以使用解析庫（如正則表達式、Beautiful Soup、pyquery 等）來提取信息了。
不過，既然 Selenium 已經(jīng)提供了選擇節(jié)點的方法，并且返回的是 WebElement 類型，那么它也有相關(guān)的方法和屬性來直接提取節(jié)點信息，如屬性、文本等。這樣的話，我們就可以不用通過解析源代碼來提取信息了，非常方便。
接下來，我們就來看看可以通過怎樣的方式來獲取節(jié)點信息吧。
獲取屬性
我們可以使用 get_attribute 方法來獲取節(jié)點的屬性，但是前提是得先選中這個節(jié)點，示例如下：
from selenium import webdriver browser = webdriver.Chrome() url = 'https://dynamic2.scrape.cuiqingcai.com/' browser.get(url) logo = browser.find_element_by_class_name('logo-image') print(logo) print(logo.get_attribute('src'))運行之后，程序便會驅(qū)動瀏覽器打開該頁面，然后獲取 class 為 logo-image 的節(jié)點，最后打印出它的 src 屬性。
控制臺的輸出結(jié)果如下：
<selenium.webdriver.remote.webelement.WebElement (session="7f4745d35a104759239b53f68a6f27d0", element="cd7c72b4-4920-47ed-91c5-ea06601dc509")> https://dynamic2.scrape .cuiqingcai.com/img/logo.a508a8f0.png通過 get_attribute 方法，我們只需要傳入想要獲取的屬性名，就可以得到它的值了。
獲取文本值
每個 WebElement 節(jié)點都有 text 屬性，直接調(diào)用這個屬性就可以得到節(jié)點內(nèi)部的文本信息，這相當于 pyquery 的 text 方法，示例如下：
from selenium import webdriver browser = webdriver.Chrome() url = 'https://dynamic2.scrape.cuiqingcai.com/' browser.get(url) input = browser.find_element_by_class_name('logo-title') print(input.text)這里依然先打開頁面，然后獲取 class 為 logo-title 這個節(jié)點，再將其文本值打印出來。
控制臺的輸出結(jié)果如下：
Scrape獲取 ID、位置、標簽名、大小
另外，WebElement 節(jié)點還有一些其他屬性，比如 id 屬性可以獲取節(jié)點 id，location 屬性可以獲取該節(jié)點在頁面中的相對位置，tag_name 屬性可以獲取標簽名稱，size 屬性可以獲取節(jié)點的大小，也就是寬高，這些屬性有時候還是很有用的。示例如下：
另外，WebElement 節(jié)點還有一些其他屬性，比如 id 屬性可以獲取節(jié)點 id，location 屬性可以獲取該節(jié)點在頁面中的相對位置，tag_name 屬性可以獲取標簽名稱，size 屬性可以獲取節(jié)點的大小，也就是寬高，這些屬性有時候還是很有用的。示例如下：
這里首先獲得 class 為 logo-title 這個節(jié)點，然后調(diào)用其 id、location、tag_name、size 屬性來獲取對應(yīng)的屬性值。
切換 Frame
我們知道網(wǎng)頁中有一種節(jié)點叫作 iframe，也就是子 Frame，相當于頁面的子頁面，它的結(jié)構(gòu)和外部網(wǎng)頁的結(jié)構(gòu)完全一致。Selenium 打開頁面后，默認是在父級 Frame 里面操作，而此時如果頁面中還有子 Frame，Selenium 是不能獲取到子 Frame 里面的節(jié)點的。這時就需要使用 switch_to.frame 方法來切換 Frame。示例如下：
import time from selenium import webdriver from selenium.common.exceptions import NoSuchElementException browser = webdriver.Chrome() url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable' browser.get(url) browser.switch_to.frame('iframeResult') try:logo = browser.find_element_by_class_name('logo') except NoSuchElementException:print('NO LOGO') browser.switch_to.parent_frame() logo = browser.find_element_by_class_name('logo') print(logo) print(logo.text)控制臺輸出：
NO LOGO <selenium.webdriver.remote.webelement.WebElement (session="4bb8ac03ced4ecbdefef03ffdc0e4ccd", element="0.13792611320464965-2")> RUNOOB.COM這里還是以前面演示動作鏈操作的網(wǎng)頁為例，首先通過 switch_to.frame 方法切換到子 Frame 里面，然后嘗試獲取子 Frame 里的 logo 節(jié)點（這是不能找到的），如果找不到的話，就會拋出 NoSuchElementException 異常，異常被捕捉之后，就會輸出 NO LOGO。接下來，我們需要重新切換回父級 Frame，然后再次重新獲取節(jié)點，發(fā)現(xiàn)此時可以成功獲取了。
所以，當頁面中包含子 Frame 時，如果想獲取子 Frame 中的節(jié)點，需要先調(diào)用 switch_to.frame 方法切換到對應(yīng)的 Frame，然后再進行操作。
延時等待
在 Selenium 中，get 方法會在網(wǎng)頁框架加載結(jié)束后結(jié)束執(zhí)行，此時如果獲取 page_source，可能并不是瀏覽器完全加載完成的頁面，如果某些頁面有額外的 Ajax 請求，我們在網(wǎng)頁源代碼中也不一定能成功獲取到。所以，這里需要延時等待一定時間，確保節(jié)點已經(jīng)加載出來。
這里等待的方式有兩種：一種是隱式等待，一種是顯式等待。
隱式等待
當使用隱式等待執(zhí)行測試的時候，如果 Selenium 沒有在 DOM 中找到節(jié)點，將繼續(xù)等待，超出設(shè)定時間后，則拋出找不到節(jié)點的異常。換句話說，隱式等待可以在我們查找節(jié)點而節(jié)點并沒有立即出現(xiàn)的時候，等待一段時間再查找 DOM，默認的時間是 0。示例如下：
from selenium import webdriver browser = webdriver.Chrome() browser.implicitly_wait(10) browser.get('https://dynamic2. scrape.cuiqingcai.com/') input = browser.find_element_by_class_name('logo-image') print(input)在這里我們用 implicitly_wait 方法實現(xiàn)了隱式等待。
顯式等待
隱式等待的效果其實并沒有那么好，因為我們只規(guī)定了一個固定時間，而頁面的加載時間會受到網(wǎng)絡(luò)條件的影響。
這里還有一種更合適的顯式等待方法，它指定要查找的節(jié)點，然后指定一個最長等待時間。如果在規(guī)定時間內(nèi)加載出來了這個節(jié)點，就返回查找的節(jié)點；如果到了規(guī)定時間依然沒有加載出該節(jié)點，則拋出超時異常。示例如下：
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC browser = webdriver.Chrome() browser.get('https://www.taobao.com/') wait = WebDriverWait(browser, 10) input = wait.until(EC.presence_of_element_located((By.ID, 'q'))) button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search'))) print(input, button)這里首先引入 WebDriverWait 這個對象，指定最長等待時間，然后調(diào)用它的 until() 方法，傳入要等待條件 expected_conditions。比如，這里傳入了 presence_of_element_located 這個條件，代表節(jié)點出現(xiàn)，其參數(shù)是節(jié)點的定位元組，也就是 ID 為 q 的節(jié)點搜索框。
這樣做的效果就是，在 10 秒內(nèi)如果 ID 為 q 的節(jié)點（即搜索框）成功加載出來，就返回該節(jié)點；如果超過 10 秒還沒有加載出來，就拋出異常。
對于按鈕，我們可以更改一下等待條件，比如改為 element_to_be_clickable，也就是可點擊，所以查找按鈕時先查找 CSS 選擇器為.btn-search 的按鈕，如果 10 秒內(nèi)它是可點擊的，也就代表它成功加載出來了，就會返回這個按鈕節(jié)點；如果超過 10 秒還不可點擊，也就是沒有加載出來，就拋出異常。
現(xiàn)在我們運行代碼，它在網(wǎng)速較佳的情況下是可以成功加載出來的。
控制臺的輸出如下：
<selenium.webdriver.remote.webelement.WebElement (session="07dd2fbc2d5b1ce40e82b9754aba8fa8", element="0.5642646294074107-1")> <selenium.webdriver.remote.webelement.WebElement (session="07dd2fbc2d5b1ce40e82b9754aba8fa8", element="0.5642646294074107-2")>可以看到，控制臺成功輸出了兩個節(jié)點，它們都是 WebElement 類型。
如果網(wǎng)絡(luò)有問題，10 秒內(nèi)沒有成功加載，那就拋出 TimeoutException 異常，此時控制臺的輸出如下：
TimeoutException Traceback (most recent call last) <ipython-input-4-f3d73973b223> in <module>()7 browser.get('https://www.taobao.com/')8 wait = WebDriverWait(browser, 10) ----> 9 input = wait.until(EC.presence_of_element_located((By.ID, 'q')))關(guān)于等待條件，其實還有很多，比如判斷標題內(nèi)容，判斷某個節(jié)點內(nèi)是否出現(xiàn)了某文字等。下表我列出了所有的等待條件。
更多詳細的等待條件的參數(shù)及用法介紹可以參考官方文檔：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.support.expected_conditions。
前進后退
平常我們使用瀏覽器時都有前進和后退功能，Selenium 也可以完成這個操作，它使用 back 方法后退，使用 forward 方法前進。示例如下：
import time from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.baidu.com/') browser.get('https://www.taobao.com/') browser.get('https://www.python.org/') browser.back() time.sleep(1) browser.forward() browser.close()這里我們連續(xù)訪問 3 個頁面，然后調(diào)用 back 方法回到第 2 個頁面，接下來再調(diào)用 forward 方法又可以前進到第 3 個頁面
Cookies
使用 Selenium，還可以方便地對 Cookies 進行操作，例如獲取、添加、刪除 Cookies 等。示例如下：
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.zhihu.com/explore') print(browser.get_cookies()) browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'}) print(browser.get_cookies()) browser.delete_all_cookies() print(browser.get_cookies())首先，我們訪問知乎，加載完成后，瀏覽器實際上已經(jīng)生成 Cookies 了。接著，調(diào)用 get_cookies 方法獲取所有的 Cookies。然后，我們再添加一個 Cookie，這里傳入一個字典，有 name、domain 和 value 等內(nèi)容。接下來，再次獲取所有的 Cookies，可以發(fā)現(xiàn)，結(jié)果會多出這一項新加的 Cookie。最后，調(diào)用 delete_all_cookies 方法刪除所有的 Cookies。再重新獲取，發(fā)現(xiàn)結(jié)果就為空了。
控制臺的輸出如下：
[{'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 1494196091.403418},...] [{'secure': False, 'value': 'germey', 'domain': '.www.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'name'}, {'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849ea509ac366d0"', 'domain': '.zhihu.com', 'path':'/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 1494196091.403418}, ...] []通過以上方法來操作 Cookies 還是非常方便的。
選項卡管理
在訪問網(wǎng)頁的時候，我們通常會開啟多個選項卡。在 Selenium 中，我們也可以對選項卡進行操作。示例如下：
import time from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.baidu.com') browser.execute_script('window.open()') print(browser.window_handles) browser.switch_to.window(browser.window_handles[1]) browser.get('https://www.taobao.com') time.sleep(1) browser.switch_to.window(browser.window_handles[0]) browser.get('https://python.org'控制臺輸出如下：
['CDwindow-4f58e3a7-7167-4587-bedf-9cd8c867f435', 'CDwindow-6e05f076-6d77-453a-a36c-32baacc447df']首先訪問百度，然后調(diào)用 execute_script 方法，這里我們傳入 window.open 這個 JavaScript 語句新開啟一個選項卡，然后切換到該選項卡，調(diào)用 window_handles 屬性獲取當前開啟的所有選項卡，后面的參數(shù)代表返回選項卡的代號列表。要想切換選項卡，只需要調(diào)用 switch_to.window 方法即可，其中的參數(shù)是選項卡的代號。這里我們將第 2 個選項卡代號傳入，即跳轉(zhuǎn)到第 2 個選項卡，接下來在第 2 個選項卡下打開一個新頁面，如果你想要切換回第 2 個選項卡，只需要重新調(diào)用 switch_to.window 方法，再執(zhí)行其他操作即可。
異常處理
在使用 Selenium 的過程中，難免會遇到一些異常，例如超時、節(jié)點未找到等錯誤，一旦出現(xiàn)此類錯誤，程序便不會繼續(xù)運行了。這里我們可以使用 try except 語句來捕獲各種異常。
首先，演示一下節(jié)點未找到的異常，示例如下：
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.baidu.com') browser.find_element_by_id('hello')這里我們首先打開百度頁面，然后嘗試選擇一個并不存在的節(jié)點，此時就會遇到異常。
運行之后控制臺的輸出如下：
NoSuchElementException Traceback (most recent call last) <ipython-input-23-978945848a1b> in <module>()3 browser = webdriver.Chrome()4 browser.get ('https://www.baidu.com') ----> 5 browser.find_element_by_id('hello')可以看到，這里拋出了 NoSuchElementException 異常，通常代表節(jié)點未找到。為了防止程序遇到異常而中斷，我們需要捕獲這些異常，示例如下：
from selenium import webdriver from selenium.common.exceptions import TimeoutException, NoSuchElementException browser = webdriver.Chrome() try:browser.get('https://www.baidu.com') except TimeoutException:print('Time Out') try:browser.find_element_by_id('hello') except NoSuchElementException:print('No Element') finally:browser.close()這里我們使用 try except 來捕獲各類異常。比如，我們用 find_element_by_id 查找節(jié)點的方法捕獲 NoSuchElementException 異常，這樣一旦出現(xiàn)這樣的錯誤，就進行異常處理，程序也不會中斷了。
控制臺的輸出如下：
No Element關(guān)于更多的異常類，可以參考官方文檔：：http://selenium-python.readthedocs.io/api.html#module-selenium.common.exceptions。
反屏蔽
現(xiàn)在很多網(wǎng)站都加上了對 Selenium 的檢測，來防止一些爬蟲的惡意爬取。即如果檢測到有人在使用 Selenium 打開瀏覽器，那就直接屏蔽。
其大多數(shù)情況下，檢測基本原理是檢測當前瀏覽器窗口下的 window.navigator 對象是否包含 webdriver 這個屬性。因為在正常使用瀏覽器的情況下，這個屬性是 undefined，然而一旦我們使用了 Selenium，Selenium 會給 window.navigator 設(shè)置 webdriver 屬性。很多網(wǎng)站就通過 JavaScript 判斷如果 webdriver 屬性存在，那就直接屏蔽。
這邊有一個典型的案例網(wǎng)站：https://antispider1.scrape.cuiqingcai.com/，這個網(wǎng)站就是使用了上述原理實現(xiàn)了 WebDriver 的檢測，如果使用 Selenium 直接爬取的話，那就會返回如下頁面：
這時候我們可能想到直接使用 JavaScript 直接把這個 webdriver 屬性置空，比如通過調(diào)用 execute_script 方法來執(zhí)行如下代碼：
這行 JavaScript 的確是可以把 webdriver 屬性置空，但是 execute_script 調(diào)用這行 JavaScript 語句實際上是在頁面加載完畢之后才執(zhí)行的，執(zhí)行太晚了，網(wǎng)站早在最初頁面渲染之前就已經(jīng)對 webdriver 屬性進行了檢測，所以用上述方法并不能達到效果。
在 Selenium 中，我們可以使用 CDP（即 Chrome Devtools-Protocol，Chrome 開發(fā)工具協(xié)議）來解決這個問題，通過 CDP 我們可以實現(xiàn)在每個頁面剛加載的時候執(zhí)行 JavaScript 代碼，執(zhí)行的 CDP 方法叫作 Page.addScriptToEvaluateOnNewDocument，然后傳入上文的 JavaScript 代碼即可，這樣我們就可以在每次頁面加載之前將 webdriver 屬性置空了。另外我們還可以加入幾個選項來隱藏 WebDriver 提示條和自動化擴展信息，代碼實現(xiàn)如下：
from selenium import webdriver from selenium.webdriver import ChromeOptionsoption = ChromeOptions() option.add_experimental_option('excludeSwitches', ['enable-automation']) option.add_experimental_option('useAutomationExtension', False) browser = webdriver.Chrome(options=option) browser.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})' }) browser.get('https://antispider1.scrape.cuiqingcai.com/')這樣整個頁面就能被加載出來了：
對于大多數(shù)的情況，以上的方法均可以實現(xiàn) Selenium 反屏蔽。但對于一些特殊的網(wǎng)站，如果其有更多的 WebDriver 特征檢測，可能需要具體排查。
無頭模式
上面的案例在運行的時候，我們可以觀察到其總會彈出一個瀏覽器窗口，雖然有助于觀察頁面爬取狀況，但在有些時候窗口彈來彈去也會形成一些干擾。
Chrome 瀏覽器從 60 版本已經(jīng)支持了無頭模式，即 Headless。無頭模式在運行的時候不會再彈出瀏覽器窗口，減少了干擾，而且它減少了一些資源的加載，如圖片等資源，所以也在一定程度上節(jié)省了資源加載時間和網(wǎng)絡(luò)帶寬。
我們可以借助于 ChromeOptions 來開啟 Chrome Headless 模式，代碼實現(xiàn)如下：
from selenium import webdriver from selenium.webdriver import ChromeOptionsoption = ChromeOptions() option.add_argument('--headless') browser = webdriver.Chrome(options=option) browser.set_window_size(1366, 768) browser.get('https://www.baidu.com') browser.get_screenshot_as_file('preview.png')這里我們通過 ChromeOptions 的 add_argument 方法添加了一個參數(shù) --headless，開啟了無頭模式。在無頭模式下，我們最好需要設(shè)置下窗口的大小，接著打開頁面，最后我們調(diào)用 get_screenshot_as_file 方法輸出了頁面的截圖。
運行代碼之后，我們發(fā)現(xiàn) Chrome 窗口就不會再彈出來了，代碼依然正常運行，最后輸出了頁面截圖如圖所示。
這樣我們就在無頭模式下完成了頁面的抓取和截圖操作。
現(xiàn)在，我們基本對 Selenium 的常規(guī)用法有了大體的了解。使用 Selenium，處理 JavaScript 渲染的頁面不再是難事。
本節(jié)代碼：https://github.com/Python3WebSpider/SeleniumTest
總結(jié)
以上是生活随笔為你收集整理的第14讲：Selenium 的基本使用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 第10讲：高效存储 MongoDB 的用
- 下一篇： 第21讲：IP代理池的搭建和使用