爬虫笔记：Python Selenium详解
生活随笔
收集整理的這篇文章主要介紹了
爬虫笔记：Python Selenium详解
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
1.簡介
Selenium是一個(gè)用于測試網(wǎng)站的自動(dòng)化測試工具，支持各種瀏覽器包括Chrome、Firefox、Safari等主流界面瀏覽器，同時(shí)也支持phantomJS無界面瀏覽器。
支持多種操作系統(tǒng)如Windows、Linux、IOS、Android等。
2.安裝
pip install Selenium
3.安裝瀏覽器驅(qū)動(dòng)
當(dāng)selenium升級到3.0之后，對不同的瀏覽器驅(qū)動(dòng)進(jìn)行了規(guī)范。如果想使用selenium驅(qū)動(dòng)不同的瀏覽器，必須單獨(dú)下載并設(shè)置不同的瀏覽器驅(qū)動(dòng)。
各瀏覽器下載地址：
Firefox瀏覽器驅(qū)動(dòng)：https://github.com/mozilla/geckodriver/releases
Chrome瀏覽器驅(qū)動(dòng)：鏈接1
鏈接2
IE瀏覽器驅(qū)動(dòng)：http://selenium-release.storage.googleapis.com/index.html
Edge瀏覽器驅(qū)動(dòng)：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
Opera瀏覽器驅(qū)動(dòng)：https://github.com/operasoftware/operachromiumdriver/releases
PhantomJS瀏覽器驅(qū)動(dòng)：https://phantomjs.org/
1.基本使用
from selenium import webdriver#瀏覽器驅(qū)動(dòng)對象 from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWaitpath='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄 browser = webdriver.Chrome(path)#聲明一個(gè)瀏覽器對象 try:browser.get('https://www.baidu.com')#訪問網(wǎng)址input = browser.find_element_by_id('kw')input.send_keys('Python')#在鍵盤里輸入pythoninput.send_keys(Keys.ENTER)#輸入回車wait = WebDriverWait(browser, 10)#等待10秒wait.until(EC.presence_of_element_located((By.ID, 'content_left')))#等待ID為content_left加載出來print(browser.current_url)print(browser.get_cookies())print(browser.page_source)#源代碼 finally:browser.close()2.聲明瀏覽器對象
from selenium import webdriverbrowser = webdriver.Chrome() browser = webdriver.Firefox() browser = webdriver.Edge() browser = webdriver.PhantomJS() browser = webdriver.Safari()3.訪問頁面
from selenium import webdriver path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄 browser = webdriver.Chrome(path) browser.get('https://www.taobao.com') print(browser.page_source)#打印源代碼 #browser.close()瀏覽器會(huì)自動(dòng)打開淘寶頁面，如果要關(guān)閉，可以在末尾添加browser.close()。
瀏覽器淘寶頁面會(huì)一閃而過
page_source
查找元素
4.查找單個(gè)元素
定位元素方法
通用方法
from selenium import webdriver from selenium.webdriver.common.by import By path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄 browser = webdriver.Chrome(path) browser.get('https://www.taobao.com') input_first = browser.find_element(By.ID, 'q')#通過id print(input_first) browser.close()5.查找多個(gè)元素
from selenium import webdriver path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄 browser = webdriver.Chrome(path) browser.get('https://www.taobao.com') lis = browser.find_elements_by_css_selector('.service-bd li') print(lis) browser.close() 選中的是左側(cè)導(dǎo)航欄標(biāo)簽通用寫法
from selenium import webdriver from selenium.webdriver.common.by import Bypath='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄 browser = webdriver.Chrome(path) browser.get('https://www.taobao.com') lis = browser.find_elements(By.CSS_SELECTOR, '.service-bd li') print(lis) browser.close()元素交互操作
6.對獲取的元素調(diào)用交互方法
結(jié)果如圖
分析輸入框id為q
點(diǎn)擊按鈕的class為btn-search
更多操作：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement
交互操作
7.交互動(dòng)作,將動(dòng)作附加到動(dòng)作鏈中串行執(zhí)行
更多操作
執(zhí)行JavaScript
from selenium import webdriver path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄browser = webdriver.Chrome(path) browser.get('https://www.zhihu.com/explore') browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') browser.execute_script('alert("To Bottom")')獲取元素信息
9.獲取屬性
結(jié)果
網(wǎng)頁中的class
10.獲取文本值
from selenium import webdriver path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄browser = webdriver.Chrome(path) url = 'https://blog.csdn.net/KOBEYU652453/article/details/113743933' browser.get(url)input = browser.find_element_by_class_name('article_content') print(input.text)11.獲取ID、位置、標(biāo)簽名、大小
from selenium import webdriver path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄browser = webdriver.Chrome(path) url = 'https://blog.csdn.net/KOBEYU652453/article/details/113743933' browser.get(url)input = browser.find_element_by_class_name('article_content') print(input.id) print(input.location) print(input.tag_name) print(input.size)Frame
path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄import time from selenium import webdriver from selenium.common.exceptions import NoSuchElementExceptionbrowser = webdriver.Chrome(path) url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable' browser.get(url) browser.switch_to.frame('iframeResult') source = browser.find_element_by_css_selector('#draggable') print(source) try:logo = browser.find_element_by_class_name('logo') except NoSuchElementException:print('NO LOGO') browser.switch_to.parent_frame() logo = browser.find_element_by_class_name('logo') print(logo) print(logo.text)等待
當(dāng)使用了隱式等待執(zhí)行測試的時(shí)候，如果 WebDriver沒有在 DOM中找到元素，將繼續(xù)等待，超出設(shè)定時(shí)間后則拋出找不到元素的異常, 換句話說，當(dāng)查找元素或元素并沒有立即出現(xiàn)的時(shí)候，隱式等待將等待一段時(shí)間再查找 DOM，默認(rèn)的時(shí)間是0
from selenium import webdriver path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄browser = webdriver.Chrome(path)browser.implicitly_wait(10) browser.get('https://www.zhihu.com/explore') input = browser.find_element_by_class_name('zu-top-add-question') print(input)顯示等待
path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as ECbrowser = webdriver.Chrome(path) browser.get('https://www.taobao.com/') wait = WebDriverWait(browser, 10) input = wait.until(EC.presence_of_element_located((By.ID, 'q')))#等待條件 button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search'))) print(input, button)等待條件如下
* title_is 標(biāo)題是某內(nèi)容 * title_contains 標(biāo)題包含某內(nèi)容 * presence_of_element_located 元素加載出，傳入定位元組，如(By.ID, 'p') * visibility_of_element_located 元素可見，傳入定位元組 * visibility_of 可見，傳入元素對象 * presence_of_all_elements_located 所有元素加載出 * text_to_be_present_in_element 某個(gè)元素文本包含某文字 * text_to_be_present_in_element_value 某個(gè)元素值包含某文字 * frame_to_be_available_and_switch_to_it frame加載并切換 * invisibility_of_element_located 元素不可見 * element_to_be_clickable 元素可點(diǎn)擊 * staleness_of 判斷一個(gè)元素是否仍在DOM，可判斷頁面是否已經(jīng)刷新 * element_to_be_selected 元素可選擇，傳元素對象 * element_located_to_be_selected 元素可選擇，傳入定位元組 * element_selection_state_to_be 傳入元素對象以及狀態(tài)，相等返回True，否則返回False * element_located_selection_state_to_be 傳入定位元組以及狀態(tài)，相等返回True，否則返回False * alert_is_present 是否出現(xiàn)Alert等待詳細(xì)內(nèi)容
前進(jìn)后退
import time from selenium import webdriver path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄 browser = webdriver.Chrome(path) browser.get('https://www.baidu.com/') browser.get('https://www.taobao.com/') browser.get('https://www.python.org/') browser.back() time.sleep(1) browser.forward() browser.close()Cookies
from selenium import webdriver path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄 browser = webdriver.Chrome(path) browser.get('https://www.zhihu.com/explore') print(browser.get_cookies())#打印cookies browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})#添加cookies print(browser.get_cookies()) browser.delete_all_cookies()#刪除所有cookies print(browser.get_cookies())選項(xiàng)卡管理
import time from selenium import webdriver path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄 browser = webdriver.Chrome(path) browser.get('https://www.baidu.com') browser.execute_script('window.open()') print(browser.window_handles) browser.switch_to_window(browser.window_handles[1]) browser.get('https://www.taobao.com') time.sleep(1) browser.switch_to_window(browser.window_handles[0]) browser.get('https://python.org')異常處理
path='D:\chromedriver_win32\chromedriver.exe'#驅(qū)動(dòng)目錄 from selenium import webdriver from selenium.common.exceptions import TimeoutException, NoSuchElementExceptionbrowser = webdriver.Chrome(path) try:browser.get('https://www.baidu.com') except TimeoutException:print('Time Out') try:browser.find_element_by_id('hello') except NoSuchElementException:print('No Element') finally:browser.close()詳細(xì)文檔
http://selenium-python.readthedocs.io/api.html#module-selenium.common.exceptions
總結(jié)
以上是生活随笔為你收集整理的爬虫笔记：Python Selenium详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 爬虫实战：要不是热爱学习，谁会爬小姐姐。
- 下一篇： 腾讯信用分如何查询