前言

電腦的硬盤突然壞了，新安裝的eclipse的代碼全沒(méi)了，后來(lái)發(fā)現(xiàn)杭電上已經(jīng)ac的代碼可以查看到，我是個(gè)有強(qiáng)迫癥的人，我寧愿做很多件不同的事也不愿意做一件相同的事（復(fù)制黏貼）許多次，所以就突發(fā)奇想，做個(gè)爬蟲爬取已經(jīng)ac的代碼。

實(shí)現(xiàn)

首先打開杭電的首頁(yè)，這里有我想要的信息

這里，解決的問(wèn)題的序列號(hào)事我們想要的。查看網(wǎng)頁(yè)源碼

就在這里找到我們想要的信息，我們要將他存下來(lái)，然后進(jìn)去分析。
接著隨便點(diǎn)擊一個(gè)進(jìn)去分析。

對(duì)這個(gè)圖片信息，注意鏈接是有規(guī)律的，通過(guò)簡(jiǎn)單拼湊就可以進(jìn)入，注意第一個(gè) run id這個(gè)信息，是需要分析抓取的，然后點(diǎn)擊code len的鏈接。

發(fā)現(xiàn)自己的代碼就在這。發(fā)現(xiàn)鏈接，就是通過(guò)run id拼湊而來(lái)。這樣思路就清晰了。
1：抓取主頁(yè)面，獲得題目號(hào)。
2：對(duì)于每個(gè)題目號(hào)，拼湊地址進(jìn)入第二個(gè)界面，在分析爬取這里的run id。
3：通過(guò)run id號(hào)拼湊地址進(jìn)入有代碼的網(wǎng)頁(yè)，在通過(guò)解析工具獲取代碼。
4：通過(guò)io傳輸傳到本地文件
5：ps（解析工具：jsoup）注意要通過(guò)f12抓取登陸過(guò)的cookie模擬登陸，因?yàn)橹慌酪淮?#xff0c;就直接抓取cookie值傳入。
附上代碼：
1：抓取主頁(yè)面

import java.io.IOException; import java.util.HashMap; import java.util.Map;import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements;public class exercise {//爬取標(biāo)題public static void main(String[] args) throws IOException{Map map=new HashMap();//粗存id和正確的次數(shù) String url="http://acm.hdu.edu.cn/userstatus.php?user=1315426911";//我的杭電頁(yè)面Document doc=Jsoup.connect(url).get();Elements links=doc.getElementsByTag("script");Elements links1=links.attr("language", "javascript");Element links2=links1.get(links1.size()-2);String links3=links2.html();System.out.println(links3);//輸出p(1001,2,6);p(1003,2,16);p(1006,1,3);p(1008,1,1);p(1009,3,16);**********String value[]=links3.split(";");//獲取總共的題目數(shù)int length=value.length;for(int i=0;i 如果對(duì)后端、爬蟲等感性趣歡迎關(guān)注我的個(gè)人公眾號(hào)交流：`bigsai`</li> 《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的用java爬取杭电oj已ac代码的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。