WebFetch 是無依賴極簡網頁爬取組件，能在移動設備上運行的微型爬蟲。

WebFetch 要達到的目標：

• 沒有第三方依賴jar包

• 減少內存使用

• 提高CPU利用率

• 加快網絡爬取速度

• 簡潔明了的api接口

• 能在Android設備上穩定運行

• 小巧靈活可以方便集成的網頁抓取組件

使用文檔

WebFetch的使用非常簡單，讓小白用戶快速上手，WebFetch為用戶配置默認頁面處理方法，默認將抓取到的頁面信息使用System.out.print輸出到控制臺（通過配置PageHandler修改默認操作）。

啟動代碼：

WebFetch?webFetch?=?new?WebFetch();? webFetch.addBeginTask("https://github.com").start();

停止代碼：

webFetch.close();

WebFetch再執行start()方法后不會阻塞程序執行，可以加入多個網頁地址，目前支持http與https，至少需要一個起始地址。

第一個版本還需要不斷改進與完善，希望大家提出寶貴的改進意見，感謝大家的支持。

聯系方式：wanghailiang333@qq.com

?

?

hexleo/WebFetch

star?43 | fork?16

無依賴極簡網頁爬取組件，能在移動設備上運行的微型爬蟲。 issues:

• #1 新版本v0.1.x-改進 hexleo 3個月前

最近提交:

• 15ac3982d ? add Example README.md ? hexleo 3個月前
• bcd1f8fc4 ? add WebFetch Example ? hexleo 3個月前
• 5de1b51dc ? mod README.md ? hexleo 3個月前

下載zip master分支?代碼最近更新：2015-05-25

總結

以上是生活随笔為你收集整理的WebFetch 是无依赖极简网页爬取组件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。