网页信息抓取进阶 支持Js生成数据 Jsoup的不足之处
生活随笔
收集整理的這篇文章主要介紹了
网页信息抓取进阶 支持Js生成数据 Jsoup的不足之处
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
轉載請標明出處：http://blog.csdn.net/lmj623565791/article/details/23866427
今天又遇到一個網頁數據抓取的任務，給大家分享下。
說道網頁信息抓取，相信Jsoup基本是首選的工具，完全的類JQuery操作，讓人感覺很舒服。但是，今天我們就要說一說Jsoup的不足。
1、首先我們新建一個頁面
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> <html><head><title>main.html</title><meta http-equiv="keywords" content="keyword1,keyword2,keyword3"><meta http-equiv="description" content="this is my page"><meta http-equiv="content-type" content="text/html; charset=UTF-8"><style type="text/css">a {line-height: 30px;margin: 20px;}</style><!--<link rel="stylesheet" type="text/css" href="./styles.css">--><script type="text/javascript">var datas = [ {href : "http://news.qq.com/a/20140416/017800.htm",title : "高校一保安長相酷似作家莫言" }, {href : "http://news.qq.com/a/20140416/015167.htm",title : "男子單臂托舉懸空女半小時" }, {href : "http://news.qq.com/a/20140416/013808.htm",title : "女子上門討房租遭強奸拍裸照" }, {href : "http://news.qq.com/a/20140416/016805.htm",title : "澳洲駱駝愛喝冰鎮啤酒解暑" } ];window.onload = function() {var infos = document.getElementById("infos");for( var i = 0 ; i < datas.length ; i++){var a = document.createElement("a");a.href = datas[i].href ;a.innerText = datas[i].title;infos.appendChild(a); infos.appendChild(document.createElement("br"))} } </script></head><body>Hello Main HttpUnit!<br><div id="infos"style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;"></div></body> </html> 頁面上觀察是這樣顯示的：我們審查元素：
如果你看到這樣的頁面，你會覺得拿Jsoup來抓取，簡直就是呵呵，小菜一疊，于是我們寫了這樣的代碼：
@Testpublic void testUserJsoup() {try {Document doc = Jsoup.connect("http://localhost:8080/strurts2fileupload/main.html").timeout(5000).get();Elements links = doc.body().getElementsByTag("a");for (Element link : links) {System.out.println(link.text() + " " + link.attr("href"));}} catch (IOException e) {e.printStackTrace();}} 你會覺得就這幾行代碼，輕輕松松搞定，快快樂樂下班。于是運行發現，其實什么的抓取不到。于是我們再回到頁面，打開頁面源代碼，也就是上面的HTML代碼，你恍然大悟，我靠，body里面根本沒有數據，難怪抓不到。這就是Jsoup的不足，如果Jsoup去抓取的頁面的數據，全都是頁面加載完成后，ajax獲取形成的，是抓取不到的。
下面給大家推薦另一個開源項目：HttpUnit，看名字是用于測試的，但是用來抓取數據也不錯
我們開始編寫類似Jsoup的代碼：
@Testpublic void testUserHttpUnit() throws FailingHttpStatusCodeException,MalformedURLException, IOException {/** HtmlUnit請求web頁面 */WebClient wc = new WebClient(BrowserVersion.CHROME);wc.getOptions().setUseInsecureSSL(true);wc.getOptions().setJavaScriptEnabled(true); // 啟用JS解釋器，默認為truewc.getOptions().setCssEnabled(false); // 禁用css支持wc.getOptions().setThrowExceptionOnScriptError(false); // js運行錯誤時，是否拋出異常wc.getOptions().setTimeout(100000); // 設置連接超時時間 ，這里是10S。如果為0，則無限期等待wc.getOptions().setDoNotTrackEnabled(false);HtmlPage page = wc.getPage("http://localhost:8080/strurts2fileupload/main.html");DomNodeList<DomElement> links = page.getElementsByTagName("a");for (DomElement link : links) {System.out.println(link.asText() + " " + link.getAttribute("href"));}}再看一下運行結果：完美解決，HttpUnit其實就相當于一個沒有UI的瀏覽器，它可以讓頁面上的js執行完成后，再抓取信息，具體的介紹，google一下就行。主要給大家介紹一種方案！
如果你覺得這篇文章對你有用，就頂一個~
版權聲明：本文為博主原創文章，未經博主允許不得轉載。
轉載于:https://www.cnblogs.com/dingxiaoyue/p/4924983.html
總結
以上是生活随笔為你收集整理的网页信息抓取进阶 支持Js生成数据 Jsoup的不足之处的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 点云数据（point cloud）
- 下一篇： Unity预览代码中文乱码解决方案