开源爬虫汇总表
開源爬蟲匯總表
| 開發語言 | 軟件名稱 | 軟件介紹 | 許可證 |
| Java | Arachnid | 微型爬蟲框架，含有一個小型HTML解析器 | GPL |
| crawlzilla | 安裝簡易，擁有中文分詞功能 | Apache2 | |
| Ex-Crawler | 由守護進程執行，使用數據庫存儲網頁信息 | GPLv3 | |
| Heritrix | 嚴格遵照robots文件的排除指示和META robots標簽 | LGPL | |
| heyDr | 輕量級開源多線程垂直檢索爬蟲框架 | GPLv3 | |
| ItSucks | 提供swing GUI操作界面 | 不詳 | |
| jcrawl | 輕量、性能優良，可以從網頁抓取各種類型的文件 | Apache | |
| JSpider | 功能強大，容易擴展 | LGPL | |
| Leopdo | 包括全文和分類垂直搜索，以及分詞系統 | Apache | |
| MetaSeeker | 網頁抓取、信息提取、數據抽取工具包，操作簡單 | 不詳 | |
| Playfish | 通過XML配置文件實現高度可定制性與可擴展性 | MIT | |
| Spiderman | 靈活、擴展性強，微內核+插件式架構，通過簡單的配置就可以完成數據抓取，無需編寫一句代碼 | Apache | |
| webmagic | 功能覆蓋整個爬蟲生命周期，使用Xpath和正則表達式進行鏈接和內容的提取 | Apache | |
| Web-Harvest | 運用XSLT、XQuery、正則表達式等技術來實現對Text或XML的操作，具有可視化的界面 | BSD | |
| WebSPHINX | 由兩部分組成：爬蟲工作平臺和WebSPHINX類包 | Apache | |
| YaCy | 基于P2P的分布式Web搜索引擎 | GPL | |
| Python | QuickRecon | 具有查找子域名名稱、收集電子郵件地址并尋找人際關系等功能 | GPLv3 |
| PyRailgun | 簡潔、輕量、高效的網頁抓取框架 | MIT | |
| Scrapy | 基于Twisted的異步處理框架，文檔齊全 | BSD | |
| C++ | hispider | 支持多機分布式下載, 支持網站定向下載 | BSD |
| larbin | 高性能的爬蟲軟件，只負責抓取不負責解析 | GPL | |
| Methabot | 經過速度優化、可抓取WEB、FTP及本地文件系統 | 不詳 | |
| Methanol | 模塊化、可定制的網頁爬蟲，速度快 | 不詳 | |
| C# | NWebCrawler | 統計信息、執行過程可視化 | GPLv2 |
| Sinawler | 國內第一個針對微博數據的爬蟲程序，功能強大 | GPLv3 | |
| spidernet | 以遞歸樹為模型的多線程web爬蟲程序，支持以GBK (gb2312)和utf8編碼的資源，使用sqlite存儲數據 | MIT | |
| Web Crawler | 多線程，支持抓取PDF/DOC/EXCEL等文檔來源 | LGPL | |
| 網絡礦工 | 功能豐富，毫不遜色于商業軟件 | BSD | |
| PHP | OpenWebSpider | 開源多線程網絡爬蟲，有許多有趣的功能 | 不詳 |
| PhpDig | 適用于專業化強、層次更深的個性化搜索引擎 | GPL | |
| Snoopy | 具有采集網頁內容、提交表單功能 | GPL | |
| ThinkUp | 采集推特、臉譜等社交網絡數據的社會媒體視角引擎，可進行交互分析并將結果以可視化形式展現 | GPL | |
| 微購 | 可采集淘寶、京東、當當等300多家電子商務數據 | GPL | |
| ErLang | Ebot | 可伸縮的分布式網頁爬蟲 | GPLv3 |
| Ruby | Spidr | 可將一個或多個網站、某個鏈接完全抓取到本地 | MIT |
?
下面對這些軟件具體說明
Java爬蟲1. Arachnid
Arachnid是一個基于Java的web spider框架.它包含一個簡單的HTML剖析器能夠分析包含HTML內容的輸入流.通過實現Arachnid的子類就能夠開發一個簡單的Web spiders并能夠在Web站上的每個頁面被解析之后增加幾行代碼調用。 Arachnid的下載包中包含兩個spider應用程序例子用于演示如何使用該框架。
特點：微型爬蟲框架，含有一個小型HTML解析器
許可證：GPL
2、crawlzillacrawlzilla 是一個幫你輕松建立搜索引擎的自由軟件，有了它，你就不用依靠商業公司的搜索引擎，也不用再煩惱公司內部網站資料索引的問題。
由 nutch 專案為核心，并整合更多相關套件，并卡發設計安裝與管理UI，讓使用者更方便上手。
crawlzilla 除了爬取基本的 html 外，還能分析網頁上的文件，如（ doc、pdf、ppt、ooo、rss ）等多種文件格式，讓你的搜索引擎不只是網頁搜索引擎，而是網站的完整資料索引庫。
擁有中文分詞能力，讓你的搜索更精準。
crawlzilla的特色與目標，最主要就是提供使用者一個方便好用易安裝的搜索平臺。
授權協議： Apache License 2
開發語言： Java JavaScript SHELL
操作系統： Linux
- 項目主頁： https://github.com/shunfa/crawlzilla
- 下載地址： http://sourceforge.net/projects/crawlzilla/
特點：安裝簡易，擁有中文分詞功能
3、Ex-CrawlerEx-Crawler 是一個網頁爬蟲，采用 Java 開發，該項目分成兩部分，一個是守護進程，另外一個是靈活可配置的 Web 爬蟲。使用數據庫存儲網頁信息。
- 授權協議： GPLv3
- 開發語言： Java
- 操作系統： 跨平臺
特點：由守護進程執行，使用數據庫存儲網頁信息
4、HeritrixHeritrix 是一個由 java 開發的、開源的網絡爬蟲，用戶可以使用它來從網上抓取想要的資源。其最出色之處在于它良好的可擴展性，方便用戶實現自己的抓取邏輯。
Heritrix采用的是模塊化的設計，各個模塊由一個控制器類（CrawlController類）來協調，控制器是整體的核心。
代碼托管：https://github.com/internetarchive/heritrix3
- 授權協議： Apache
- 開發語言： Java
- 操作系統： [url=]跨平臺[/url]
特點：嚴格遵照robots文件的排除指示和META robots標簽
5、heyDr
heyDr是一款基于java的輕量級開源多線程垂直檢索爬蟲框架，遵循GNU GPL V3協議。
用戶可以通過heyDr構建自己的垂直資源爬蟲，用于搭建垂直搜索引擎前期的數據準備。
- 授權協議： GPLv3
- 開發語言： Java
- 操作系統： 跨平臺
特點：輕量級開源多線程垂直檢索爬蟲框架
6、ItSucksItSucks是一個java web spider（web機器人，爬蟲）開源項目。支持通過下載模板和正則表達式來定義下載規則。提供一個swing GUI操作界面。
特點：提供swing GUI操作界面
7、jcrawljcrawl是一款小巧性能優良的的web爬蟲,它可以從網頁抓取各種類型的文件,基于用戶定義的符號,比如email,qq.
- 授權協議： Apache
- 開發語言： Java
- 操作系統： 跨平臺
特點：輕量、性能優良，可以從網頁抓取各種類型的文件
8、JSpiderJSpider是一個用Java實現的WebSpider，JSpider的執行格式如下：
jspider http://，否則會報錯。如� ... �用默認配置。
特點：網頁抓取、信息提取、數據抽取工具包，操作簡單
11、Playfishplayfish是一個采用java技術，綜合應用多個開源java組件實現的網頁抓取工具，通過XML配置文件實現高度可定制性與可擴展性的網頁抓取工具
應用開源jar包包括httpclient(內容讀取),dom4j（配置文件解析）,jericho（html解析），已經在 war包的lib下。
這個項目目前還很不成熟，但是功能基本都完成了。要求使用者熟悉XML，熟悉正則表達式。目前通過這個工具可以抓取各類論壇，貼吧，以及各類CMS系統。像Discuz!,phpbb,論壇跟博客的文章，通過本工具都可以輕松抓取。抓取定義完全采用XML，適合Java開發人員使用。
使用方法：
- 下載右邊的.war包導入到eclipse中，
- 使用WebContent/sql下的wcc.sql文件建立一個范例數據庫，
- 修改src包下wcc.core的dbConfig.txt，將用戶名與密碼設置成你自己的mysql用戶名密碼。
- 然后運行SystemCore,運行時候會在控制臺，無參數會執行默認的example.xml的配置文件，帶參數時候名稱為配置文件名。
系統自帶了3個例子，分別為baidu.xml抓取百度知道，example.xml抓取我的javaeye的博客，bbs.xml抓取一個采用 discuz論壇的內容。
- 授權協議： MIT
- 開發語言： Java
- 操作系統： 跨平臺
特點：通過XML配置文件實現高度可定制性與可擴展性
12、SpidermanSpiderman 是一個基于微內核+插件式架構的網絡蜘蛛，它的目標是通過簡單的方法就能將復雜的目標網頁信息抓取并解析為自己所需要的業務數據。
怎么使用？
首先，確定好你的目標網站以及目標網頁（即某一類你想要獲取數據的網頁，例如網易新聞的新聞頁面）
然后，打開目標頁面，分析頁面的HTML結構，得到你想要數據的XPath，具體XPath怎么獲取請看下文。
最后，在一個xml配置文件里填寫好參數，運行Spiderman吧！
- 授權協議： Apache
- 開發語言： Java
- 操作系統： 跨平臺
特點：靈活、擴展性強，微內核+插件式架構，通過簡單的配置就可以完成數據抓取，無需編寫一句代碼
13、webmagicwebmagic的是一個無須配置、便于二次開發的爬蟲框架，它提供簡單靈活的API，只需少量代碼即可實現一個爬蟲。
webmagic采用完全模塊化的設計，功能覆蓋整個爬蟲的生命周期(鏈接提取、頁面下載、內容抽取、持久化)，支持多線程抓取，分布式抓取，并支持自動重試、自定義UA/cookie等功能。
webmagic包含強大的頁面抽取功能，開發者可以便捷的使用css selector、xpath和正則表達式進行鏈接和內容的提取，支持多個選擇器鏈式調用。
webmagic的使用文檔：http://webmagic.io/docs/
查看源代碼：http://git.oschina.net/flashsword20/webmagic
- 授權協議： Apache
- 開發語言： Java
- 操作系統： 跨平臺
特點：功能覆蓋整個爬蟲生命周期，使用Xpath和正則表達式進行鏈接和內容的提取。
備注：這是一款國產開源軟件，由 黃億華貢獻
14、Web-HarvestWeb-Harvest是一個Java開源Web數據抽取工具。它能夠收集指定的Web頁面并從這些頁面中提取有用的數據。Web-Harvest主要是運用了像XSLT,XQuery,正則表達式等這些技術來實現對text/xml的操作。
其實現原理是，根據預先定義的配置文件用httpclient獲取頁面的全部內容（關于httpclient的內容，本博有些文章已介紹），然后運用XPath、XQuery、正則表達式等這些技術來實現對text/xml的內容篩選操作，選取精確的數據。前兩年比較火的垂直搜索（比如：酷訊等）也是采用類似的原理實現的。Web-Harvest應用，關鍵就是理解和定義配置文件，其他的就是考慮怎么處理數據的Java代碼。當然在爬蟲開始前，也可以把Java變量填充到配置文件中，實現動態的配置。
- 授權協議： BSD
- 開發語言： Java
特點：運用XSLT、XQuery、正則表達式等技術來實現對Text或XML的操作，具有可視化的界面
15、WebSPHINXWebSPHINX是一個Java類包和Web爬蟲的交互式開發環境。Web爬蟲(也叫作機器人或蜘蛛)是可以自動瀏覽與處理Web頁面的程序。WebSPHINX由兩部分組成：爬蟲工作平臺和WebSPHINX類包。
授權協議：Apache
開發語言：Java
特點：由兩部分組成：爬蟲工作平臺和WebSPHINX類包
16、YaCyYaCy基于p2p的分布式Web搜索引擎.同時也是一個Http緩存代理服務器.這個項目是構建基于p2p Web索引網絡的一個新方法.它可以搜索你自己的或全局的索引,也可以Crawl自己的網頁或啟動分布式Crawling等.
- 授權協議： GPL
- 開發語言： Java Perl
- 操作系統： 跨平臺
特點：基于P2P的分布式Web搜索引擎
Python爬蟲17、QuickReconQuickRecon是一個簡單的信息收集工具,它可以幫助你查找子域名名稱、perform zone transfe、收集電子郵件地址和使用microformats尋找人際關系等。QuickRecon使用python編寫，支持linux和 windows操作系統。
- 授權協議： GPLv3
- 開發語言： Python
- 操作系統： Windows Linux
特點：具有查找子域名名稱、收集電子郵件地址并尋找人際關系等功能
18、PyRailgun這是一個非常簡單易用的抓取工具。支持抓取javascript渲染的頁面的簡單實用高效的python網頁爬蟲抓取模塊
- 授權協議： MIT
- 開發語言： Python
- 操作系統： 跨平臺 Windows Linux OS X
特點：簡潔、輕量、高效的網頁抓取框架
備注：此軟件也是由國人開放
github下載：https://github.com/princehaku/pyrailgun#readme
19、ScrapyScrapy 是一套基于基于Twisted的異步處理框架，純python實現的爬蟲框架，用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲，用來抓取網頁內容以及各種圖片，非常之方便～
- 授權協議： BSD
- 開發語言： Python
- 操作系統： 跨平臺
github源代碼：https://github.com/scrapy/scrapy
特點：基于Twisted的異步處理框架，文檔齊全
C++爬蟲20、hispiderHiSpider is a fast and high performance spider with high speed
嚴格說只能是一個spider系統的框架, 沒有細化需求, 目前只是能提取URL, URL排重, 異步DNS解析, 隊列化任務, 支持N機分布式下載, 支持網站定向下載(需要配置hispiderd.ini whitelist).
特征和用法:
- 基于unix/linux系統的開發
- 異步DNS解析
- URL排重
- 支持HTTP 壓縮編碼傳輸 gzip/deflate
- 字符集判斷自動轉換成UTF-8編碼
- 文檔壓縮存儲
- 支持多下載節點分布式下載
- 支持網站定向下載(需要配置 hispiderd.ini whitelist )
- 可通過 http://127.0.0.1:3721/ 查看下載情況統計,下載任務控制(可停止和恢復任務)
- 依賴基本通信庫libevbase 和 libsbase (安裝的時候需要先安裝這個兩個庫)、
工作流程:
- 從中心節點取URL(包括URL對應的任務號, IP和port,也可能需要自己解析)
- 連接服務器發送請求
- 等待數據頭判斷是否需要的數據(目前主要取text類型的數據)
- 等待完成數據(有length頭的直接等待說明長度的數據否則等待比較大的數字然后設置超時)
- 數據完成或者超時, zlib壓縮數據返回給中心服務器,數據可能包括自己解析DNS信息, 壓縮后數據長度+壓縮后數據, 如果出錯就直接返回任務號以及相關信息
- 中心服務器收到帶有任務號的數據, 查看是否包括數據, 如果沒有數據直接置任務號對應的狀態為錯誤, 如果有數據提取數據種link 然后存儲數據到文檔文件.
- 完成后返回一個新的任務.
授權協議： BSD
開發語言： C/C++
操作系統： Linux
特點：支持多機分布式下載, 支持網站定向下載
21、larbinlarbin是一種開源的網絡爬蟲/網絡蜘蛛，由法國的年輕人 Sébastien Ailleret獨立開發。larbin目的是能夠跟蹤頁面的url進行擴展的抓取，最后為搜索引擎提供廣泛的數據來源。Larbin只是一個爬蟲，也就 是說larbin只抓取網頁，至于如何parse的事情則由用戶自己完成。另外，如何存儲到數據庫以及建立索引的事情 larbin也不提供。一個簡單的larbin的爬蟲可以每天獲取５００萬的網頁。
利用larbin，我們可以輕易的獲取/確定單個網站的所有鏈接，甚至可以鏡像一個網站；也可以用它建立url 列表群，例如針對所有的網頁進行 url retrive后，進行xml的聯結的獲取。或者是 mp3，或者定制larbin，可以作為搜索引擎的信息的來源。
- 授權協議： GPL
- 開發語言： C/C++
- 操作系統： Linux
特點：高性能的爬蟲軟件，只負責抓取不負責解析
22、MethabotMethabot 是一個經過速度優化的高可配置的 WEB、FTP、本地文件系統的爬蟲軟件。
- 授權協議： 未知
- 開發語言： C/C++
- 操作系統： Windows Linux
特點：過速度優化、可抓取WEB、FTP及本地文件系統
源代碼：http://www.oschina.net/code/tag/methabot
C#爬蟲23、NWebCrawlerNWebCrawler是一款開源，C#開發網絡爬蟲程序。
特性：
- 可配置：線程數，等待時間，連接超時，允許MIME類型和優先級，下載文件夾。
- 統計信息：URL數量，總下載文件，總下載字節數，CPU利用率和可用內存。
- Preferential crawler：用戶可以設置優先級的MIME類型。
- Robust: 10+ URL normalization rules, crawler trap avoiding rules.
授權協議： GPLv2
開發語言： C#
操作系統： Windows
項目主頁：http://www.open-open.com/lib/view/home/1350117470448
特點：統計信息、執行過程可視化
24、Sinawler國內第一個針對微博數據的爬蟲程序！原名“新浪微博爬蟲”。
登錄后，可以指定用戶為起點，以該用戶的關注人、粉絲為線索，延人脈關系搜集用戶基本信息、微博數據、評論數據。
該應用獲取的數據可作為科研、與新浪微博相關的研發等的數據支持，但請勿用于商業用途。該應用基于.NET2.0框架，需SQL SERVER作為后臺數據庫，并提供了針對SQL Server的數據庫腳本文件。
另外，由于新浪微博API的限制，爬取的數據可能不夠完整（如獲取粉絲數量的限制、獲取微博數量的限制等）
本程序版權歸作者所有。你可以免費: 拷貝、分發、呈現和表演當前作品,制作派生作品。 你不可將當前作品用于商業目的。
5.x版本已經發布！ 該版本共有6個后臺工作線程：爬取用戶基本信息的機器人、爬取用戶關系的機器人、爬取用戶標簽的機器人、爬取微博內容的機器人、爬取微博評論的機器人，以及調節請求頻率的機器人。更高的性能！最大限度挖掘爬蟲潛力！ 以現在測試的結果看，已經能夠滿足自用。
本程序的特點：
- 6個后臺工作線程，最大限度挖掘爬蟲性能潛力！
- 界面上提供參數設置，靈活方便
- 拋棄app.config配置文件，自己實現配置信息的加密存儲，保護數據庫帳號信息
- 自動調整請求頻率，防止超限，也避免過慢，降低效率
- 任意對爬蟲控制，可隨時暫停、繼續、停止爬蟲
- 良好的用戶體驗
授權協議： GPLv3
開發語言： C# .NET
操作系統： Windows
25、spidernetspidernet是一個以遞歸樹為模型的多線程web爬蟲程序, 支持text/html資源的獲取. 可以設定爬行深度, 最大下載字節數限制, 支持gzip解碼, 支持以gbk(gb2312)和utf8編碼的資源; 存儲于sqlite數據文件.
源碼中TODO:標記描述了未完成功能, 希望提交你的代碼.
- 授權協議： MIT
- 開發語言： C#
- 操作系統： Windows
github源代碼：https://github.com/nsnail/spidernet
特點：以遞歸樹為模型的多線程web爬蟲程序，支持以GBK (gb2312)和utf8編碼的資源，使用sqlite存儲數據
26、Web Crawlermart and Simple Web Crawler是一個Web爬蟲框架。集成Lucene支持。該爬蟲可以從單個鏈接或一個鏈接數組開始，提供兩種遍歷模式：最大迭代和最大深度。可以設置 過濾器限制爬回來的鏈接，默認提供三個過濾器ServerFilter、BeginningPathFilter和 RegularExpressionFilter，這三個過濾器可用AND、OR和NOT聯合。在解析過程或頁面加載前后都可以加監聽器。介紹內容來自Open-Open
- 開發語言： Java
- 操作系統： 跨平臺
- 授權協議： LGPL
特點：多線程，支持抓取PDF/DOC/EXCEL等文檔來源
27、網絡礦工網站數據采集軟件 網絡礦工采集器（原soukey采摘）
Soukey采摘網站數據采集軟件是一款基于.Net平臺的開源軟件，也是網站數據采集軟件類型中唯一一款開源軟件。盡管Soukey采摘開源，但并不會影響軟件功能的提供，甚至要比一些商用軟件的功能還要豐富。
- 授權協議： BSD
- 開發語言： C# .NET
- 操作系統： Windows
特點：功能豐富，毫不遜色于商業軟件
PHP爬蟲28、OpenWebSpiderOpenWebSpider是一個開源多線程Web Spider（robot：機器人，crawler：爬蟲)和包含許多有趣功能的搜索引擎。
- 授權協議： 未知
- 開發語言： PHP
- 操作系統： 跨平臺
特點：開源多線程網絡爬蟲，有許多有趣的功能
29、PhpDig
PhpDig是一個采用PHP開發的Web爬蟲和搜索引擎。通過對動態和靜態頁面進行索引建立一個詞匯表。當搜索查詢時，它將按一定的排序規則顯示包含關 鍵字的搜索結果頁面。PhpDig包含一個模板系統并能夠索引PDF,Word,Excel,和PowerPoint文檔。PHPdig適用于專業化更 強、層次更深的個性化搜索引擎，利用它打造針對某一領域的垂直搜索引擎是最好的選擇。
演示：http://www.phpdig.net/navigation.php?action=demo
- 授權協議： GPL
- 開發語言： PHP
- 操作系統： 跨平臺
特點：具有采集網頁內容、提交表單功能
30、ThinkUpThinkUp 是一個可以采集推特，facebook等社交網絡數據的社會媒體視角引擎。通過采集個人的社交網絡賬號中的數據，對其存檔以及處理的交互分析工具，并將數據圖形化以便更直觀的查看。
- 授權協議： GPL
- 開發語言： PHP
- 操作系統： 跨平臺
github源碼：https://github.com/ThinkUpLLC/ThinkUp
特點：采集推特、臉譜等社交網絡數據的社會媒體視角引擎，可進行交互分析并將結果以可視化形式展現
31、微購微購社會化購物系統是一款基于ThinkPHP框架開發的開源的購物分享系統，同時它也是一套針對站長、開源的的淘寶客網站程序，它整合了淘寶、天貓、淘寶客等300多家商品數據采集接口，為廣大的淘寶客站長提供傻瓜式淘客建站服務，會HTML就會做程序模板，免費開放下載，是廣大淘客站長的首選。
演示網址：http://tlx.wego360.com
授權協議： GPL
開發語言： PHP
操作系統： 跨平臺
ErLang爬蟲32、EbotEbot 是一個用 ErLang 語言開發的可伸縮的分布式網頁爬蟲，URLs 被保存在數據庫中可通過 RESTful 的 HTTP 請求來查詢。
- 授權協議： GPLv3
- 開發語言： ErLang
- 操作系統： 跨平臺
github源代碼：https://github.com/matteoredaelli/ebot
項目主頁： http://www.redaelli.org/matteo/blog/projects/ebot
特點：可伸縮的分布式網頁爬蟲
Ruby爬蟲33、SpidrSpidr 是一個Ruby 的網頁爬蟲庫，可以將整個網站、多個網站、某個鏈接完全抓取到本地。
- 開發語言： Ruby
- 授權協議：MIT
特點：可將一個或多個網站、某個鏈接完全抓取到本地
總結
- 上一篇： Excel制作的自动汇总的评分表模板
- 下一篇： CorelDraw插件开发-GMS插件-