web scraper 下載：Web-Scraper_v0.2.0.10

使用 Chrome 瀏覽器插件 Web Scraper 可以輕松實現網頁數據的爬取，不寫代碼，鼠標操作，點哪爬哪，還不用考慮爬蟲中的登陸、驗證碼、異步加載等復雜問題。

Web Scraper插件

Web Scraper 官網中的簡介：

Web Scraper Extension (Free!)
Using our extension you can create a plan (sitemap) how a web site should be traversed and what should be extracted. Using these sitemaps the Web Scraper will navigate the site accordingly and extract all data. Scraped data later can be exported as CSV.

先看一下，我用 web scaper 爬取到的數據：

1. 知乎輪子哥粉絲

輪子哥有 54 萬多粉絲，我只抓取了前 20 頁400條記錄

設定數據字段

2.簡書七日熱門數據

運行爬蟲得到數據

導出數據

Web Scraper 抓取流程及要點：

安裝Web Scraper插件后，三步完成爬取操作
1、Create new sitemap（創建爬取項目）
2、選取爬取網頁中的內容，點~點~點，操作
3、開啟爬取，下載CSV數據

其中最關鍵的是第二步，兩個要點：

先選中數據塊 Element，每塊數據我們在頁面上取，都是重復的，選中 Multiple
在數據塊中再取需要的數據字段(上圖Excel中的列)

爬取大量數據的要點，在于掌握分頁的控制。
分頁分為3種情況：

URL 參數分頁(比較規整方式)
URL 中帶有分頁的 page 參數的，如：

https://www.zhihu.com/people/excited-vczh/followers?page=2

直接在創建sitemap時，Start URL中就可以帶上分頁參數，寫成這樣：

https://www.zhihu.com/people/excited-vczh/followers?page=[1-27388]

滾動加載，點擊“加載更多” 加載頁面數據

點擊分頁數字標簽(包括“下一頁”標簽)
注意，這里第2-3種可以歸為一類方式，是異步加載的方式，大部分都可以轉為第1種的方式來處理。
這種方式分頁不太好控制。一般使用 Link 或 Element click 來實現分頁的操作。

圖示 Web Scraper 操作步驟：

第一步：創建sitemap

第二步：選取塊數據Element

第三步：選取抓取的字段text

第四步：爬取

Web Scaper 使用體會：

1) 除了規整的分頁方式外，其他分頁方式不好控制，不同的網站受頁面標簽不同，操作也不一樣。

2) 因為直接抓取頁面顯示值，抓取數據規整度不太好，需要 EXCEL 函數處理。
如，簡書七日熱門中文章發表時間，格式有好幾種。

3) 有一點網頁代碼基礎的上手很快，代碼才是王道啊。
特別是有點Python爬蟲基礎的，在選取頁面數據中很容易操作、理解，發現操作中出現的問題。

4) 比起八爪魚、火車頭等數據采集器，web scraper不需要下載軟件，免費，無需注冊，還很體會一點點代碼的操作。當然 web scraper 也有付費的云爬蟲。

Web Scraper 還可以導入sitemap，把下面的這段代碼導入，你就可以抓取到知乎輪子哥前20頁的粉絲：

{"startUrl":"https://www.zhihu.com/people/excited-vczh/followers?page=[1-20]","selectors":[{"parentSelectors":["_root"],"type":"SelectorElement","multiple":true,"id":"items","selector":"div.List-item","delay":""},{"parentSelectors":["items"],"type":"SelectorText","multiple":false,"id":"name","selector":"div.UserItem-title a.UserLink-link","regex":"","delay":""},{"parentSelectors":["items"],"type":"SelectorText","multiple":false,"id":"desc","selector":"div.RichText","regex":"","delay":""},{"parentSelectors":["items"],"type":"SelectorText","multiple":false,"id":"answers","selector":"span.ContentItem-statusItem:nth-of-type(1)","regex":"","delay":""},{"parentSelectors":["items"],"type":"SelectorText","multiple":false,"id":"articles","selector":"span.ContentItem-statusItem:nth-of-type(2)","regex":"","delay":""},{"parentSelectors":["items"],"type":"SelectorText","multiple":false,"id":"fans","selector":"span.ContentItem-statusItem:nth-of-type(3)","regex":"","delay":""}],"_id":"zh_vczh"}

PS,Web Scraper 資料教程

官網中的視頻教程
http://webscraper.io/tutorials

知乎@陳大欣 的回答中寫了詳細的步驟，并錄制了視頻教程。

視頻教程(1)：http://www.bilibili.com/video/av9664397/

視頻教程(2)：http://www.bilibili.com/video/av9708200/

這個問題來源零基礎如何學爬蟲技術？@陳大欣 在文章中把 Excel 爬蟲，web scraper，代碼爬蟲做了比較分析。

寫在最后：FOR Freedom 看看外邊的世界，以及IT這一行，少不了去Google查資料，最后，安利一些速器代理。

網絡加速工具推薦	免費方案	付費方案	官方網站
一枝紅杏網絡加速工具	免費方案暫無，穩定高速	輸入8折優惠碼wh80，年付只需80元/年	官網直達http://whosmall.com/go/yzhx
網絡加速工具	最好用的外貿網絡加速工具	最低￥30/月	官網直達http://whosmall.com/go/yzhx
LoCo網絡加速工具	每天免費2小時	最低￥15/月	官網直達http://whosmall.com/go/yzhx

本文標簽：Mac效率工具Mac小工具MacOSHomebrew-CaskMac軟件包管理器

轉自SUN'S BLOG - 專注互聯網知識，分享互聯網精神！

原文地址：《MacOS 如何使用軟件包管理器 Homebrew-Cask 安裝軟件？》

相關閱讀：《Mac 系統上如何用 LaunchBar 一鍵下載網頁上的所有文件？》

相關閱讀：《MacOS 如何用 LaunchBar 一鍵上傳文件至 Google Drive？》

相關閱讀：《最好用的 Mac App 快速啟動及切換工具：Manico 2.0》

相關閱讀：《我為什么選擇 Window Tidy 作為 MacOS 分屏工具？》

相關閱讀：《Chrome 擴展 Stylish ：給不喜歡某個網站一鍵「換膚」》

相關閱讀：《將 QQ 音樂、網易云音樂和蝦米音樂資源「整合」一起的Chrome 擴展Listen 1》

相關閱讀：《8 個「新標簽頁」Chrome 擴展： 教你把 New Tab 頁面玩的溜溜溜》

相關閱讀：《7 款實用 Chrome 擴展推薦：幫你提升 Chrome 使用體驗》

相關閱讀：《無擴展就不是 Chrome 了：15 款優質的Chrome 擴展推薦給大家》

相關閱讀：《12 款不能少的使網頁瀏覽獲得的最佳體驗Chrome 擴展》

相關閱讀：《5 款可以帶來幸福感的 Chrome 擴展》

相關閱讀:對程序員有用：2017最新能上Google的hosts文件下載及總結網友遇到的各種hosts問題解決方法及配置詳解

相關BLOG：SUN’S BLOG- 專注互聯網知識，分享互聯網精神！去看看：whosmall.com

原文鏈接：http://whosmall.com/?post=473

總結

以上是生活随笔為你收集整理的使用 Chrome 浏览器插件 Web Scraper 10分钟轻松实现网页数据的爬取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。