python爬蟲之selenium和PhantomJS

主要的內容

• lenium

• hantomjs

• 無頭瀏覽器

• 的懶加載

一 什么是selenium?

介紹

它是python中的一個第三方庫，對外提供的接口可以操作瀏覽器，然后讓瀏覽器完成自動化的操作。

安裝

pip install selenium

如何使用selenium 進行操作呢？

1 獲取某一款瀏覽器的驅動程序（這里我以谷歌瀏覽器為例）

谷歌瀏覽器的驅動下載地址：

http://chromedriver.storage.googleapis.com/index.html

2 如何選擇版本號下載，這里下載的驅動程序必須和瀏覽器的版本統一，可以通過這個網址中提供的版本映射表進行對應

先查看自己谷歌瀏覽器中的版本信息，然后通過映射表進行相應的下載即可

http://blog.csdn.net/huilan_same/article/details/51896672

需求 使用selenium打開百度

''' 遇到問題沒人解答？小編創建了一個Python學習交流QQ群：857662006 尋找有志同道合的小伙伴，互幫互助,群里還有不錯的視頻學習教程和PDF電子書！ ''' from selenium import webdriver from time import sleep #驅動路徑 記得前面加r 防止字符轉義 #!!!注意這里必須把驅動程序中的路徑寫完整，后面必須加上這個chromedriver.exe 否則會報錯 執行不成功 driver = webdriver.Chrome('C:\pacong_data\day3\chromedriver.exe') #用driver打開百度頁面 后面的地址是百度的地址 driver.get('http://www.baidu.com') # 查找頁面的“設置”選項，發送一個你要搜索的值，并進行點擊 driver.find_element_by_id('kw').send_keys('人民幣') sleep(2) #并進行點擊 driver.find_element_by_id('su').click() sleep(2) #退出驅動程序 driver.quit()#使用下面的方法，查找指定的元素進行操作即可find_element_by_id 根據id找節點find_elements_by_name 根據name找find_elements_by_xpath 根據xpath查找find_elements_by_tag_name 根據標簽名找find_elements_by_class_name 根據class名字查找

二 phantomjs

PhantomJS是一款無界面的瀏覽器，其操作與上述的操作基本上是一致的，由于無界面，為了我們能夠清楚的看到她的自動化操作流程，它為用戶提供了一個截屏的功能，使用save_screenshot函數實現。

phantomjs實現無界面的操作

''' 遇到問題沒人解答？小編創建了一個Python學習交流QQ群：857662006 尋找有志同道合的小伙伴，互幫互助,群里還有不錯的視頻學習教程和PDF電子書！ ''' from selenium import webdriver import time#PhantomJS是一個無頭界面的瀏覽器 #!!!!注意這里的路徑是PhantomJS存放的路徑 browser = webdriver.PhantomJS(r'C:\pacong_data\day3\phantomjs-2.1.1-windows\bin\phantomjs.exe')url ='http://www.baidu.com/' browser.get(url) time.sleep(3)#進入百度界面 然后截屏 browser.save_screenshot(r'phantomjs\baidu.png')bd_input = browser.find_element_by_id('kw').send_keys('小豬配齊') #在此截屏 browser.save_screenshot(r'phantomjs\xiaozhu.png') time.sleep(3)bd_sous = browser.find_element_by_id('su').click() 在此截屏 browser.save_screenshot(r'phantomjs\sous.png') time.sleep(3)browser.quit()

谷歌無頭瀏覽器（是一款無界面的瀏覽器）

''' 遇到問題沒人解答？小編創建了一個Python學習交流QQ群：857662006 尋找有志同道合的小伙伴，互幫互助,群里還有不錯的視頻學習教程和PDF電子書！ ''' import time from selenium import webdriver from selenium.webdriver.chrome.options import Options#這個是一個用來控制chrome以無界面模式打開的瀏覽器 #創建一個參數對象，用來控制chrome以無界面的方式打開 chrome_options = Options() #后面的兩個是固定寫法 必須這么寫 chrome_options.add_argument('--headless') chrome_options.add_argument('--disable-gpu')#驅動路徑 谷歌的驅動存放路徑 path = r'C:\pacong_data\day3\chromedriver.exe'#創建瀏覽器對象browser = webdriver.Chrome(executable_path=path,chrome_options=chrome_options)url ='http://www.baidu.com/'browser.get(url) time.sleep(3) browser.save_screenshot('baid.png')browser.quit()

總結

以上是生活随笔為你收集整理的python爬虫之selenium,谷歌无头浏览器的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。