前言：寫這篇文章之前，主要是我看了幾篇類似的爬蟲寫法，有的是用的隊(duì)列來寫，感覺不是很直觀，還有的只有一個(gè)請(qǐng)求然后進(jìn)行頁面解析，根本就沒有自動(dòng)爬起來這也叫爬蟲？因此我結(jié)合自己的思路寫了一下簡(jiǎn)單的爬蟲，測(cè)試用例就是自動(dòng)抓取我的博客網(wǎng)站(http://www.zifangsky.cn)的所有鏈接。

一 算法簡(jiǎn)介

程序在思路上采用了廣度優(yōu)先算法，對(duì)未遍歷過的鏈接逐次發(fā)起GET請(qǐng)求，然后對(duì)返回來的頁面用正則表達(dá)式進(jìn)行解析，取出其中未被發(fā)現(xiàn)的新鏈接，加入集合中，待下一次循環(huán)時(shí)遍歷。

具體實(shí)現(xiàn)上使用了Map，鍵值對(duì)分別是鏈接和是否被遍歷標(biāo)志。程序中使用了兩個(gè)Map集合，分別是：oldMap和newMap，初始的鏈接在oldMap中，然后對(duì)oldMap里面的標(biāo)志為false的鏈接發(fā)起請(qǐng)求，解析頁面，用正則取出標(biāo)簽下的鏈接，如果這個(gè)鏈接未在oldMap和newMap中，則說明這是一條新的鏈接，同時(shí)要是這條鏈接是我們需要獲取的目標(biāo)網(wǎng)站的鏈接的話，我們就將這條鏈接放入newMap中，一直解析下去，等這個(gè)頁面解析完成，把oldMap中當(dāng)前頁面的那條鏈接的值設(shè)為true，表示已經(jīng)遍歷過了。最后是當(dāng)整個(gè)oldMap未遍歷過的鏈接都遍歷結(jié)束后，如果發(fā)現(xiàn)newMap不為空，則說明這一次循環(huán)有新的鏈接產(chǎn)生，因此將這些新的鏈接加入oldMap中，繼續(xù)遞歸遍歷，反之則說明這次循環(huán)沒有產(chǎn)生新的鏈接，繼續(xù)循環(huán)下去已經(jīng)不能產(chǎn)生新鏈接了，因?yàn)槿蝿?wù)結(jié)束，返回鏈接集合oldMap

二 程序?qū)崿F(xiàn)

上面相關(guān)思路已經(jīng)說得很清楚了，并且代碼中關(guān)鍵地方有注釋，因此這里就不多說了，代碼如下：

三 最后的測(cè)試效果

PS：其實(shí)用遞歸這種方式不是太好，因?yàn)橐蔷W(wǎng)站頁面比較多的話，程序運(yùn)行時(shí)間長(zhǎng)了對(duì)內(nèi)存的消耗會(huì)非常大，不過因?yàn)槲业牟┛途W(wǎng)站頁面不是很多，因此效果還可以。

==============僅供參考============

總結(jié)

以上是生活随笔為你收集整理的java爬虫怎么确定url连接_Java爬虫之抓取一个网站上的全部链接的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。