NekoHTML 學習筆記

　　J. Andrew Clark 用Java寫了一系列的工具 (Java APIs)，NekoHTML 是其中之一。
　　NekoHTML 是一個簡單地HTML掃描器和標簽補償器(tag balancer) ,使得程序能解析HTML文檔并用標準的XML接口來訪問其中的信息。這個解析器能投掃描HTML文件并“修正”許多作者（人或機器）在編寫HTML文檔過程中常犯的錯誤。NekoHTML 能增補缺失的父元素、自動用結束標簽關閉相應的元素，以及不匹配的內嵌元素標簽。NekoHTML 的開發使用了Xerces Native Interface (XNI)，后者是Xerces2的實現基礎。

?

一、運行要求

　　從NekoHTML 主頁上下載nekohtml -latest.zip，目前版本是0.8.
　　NekoHTML 要求運行在java1.1或更高版本，Xerces-J 2.0或更高版本。（我在試用時，隨便拿了個xerces的包來用，結果例如運行老時不能通過，折騰半天后才發現版本不夠所致.:)

二、使用NekoHTML

1、透明地創建HTML解析器
　　利用Xerces2.0為基礎，應用程序通過JAXP實例化解析器對象時，可以透明地創建HTML解析器，此時只需要將NekoHTML 的 jar文件，在CLASSPATH中放在Xerces的jar文件之前即可。nekohtmlXni.jar中的META-INF/services /org.apache.xerces.xni.parser.XMLParserConfiguration文件會被Xerces的讀取并取代標準的設 置文件，此處org.apache.xerces.xni.parser.XMLParserConfiguration文件的內容就是一個字符串 “org.cyberneko.html.HTMLConfiguration”。這種方法的好處是簡單透明，缺點是影響了Xerces在其它情況下的使 用。

2、便利的HTML解析器類
　　要想避免上述的問題，可以使用org.cyberneko.html.parsers包的DOM和SAX解 析器類來創建解析器，這兩個類都使用了HTMLConfiguration類。解析器一旦創建之后，就可以解析HTML文件，并用標準的XML接口來訪問 文件中的信息，就象面對的是一個XML文件一樣。
　　下面的代碼是NekoHTML 自帶的例程，我改了一下，使其可以顯示HTML文件內容，而不顯示類的名字。

package sample;

import org.cyberneko.html.parsers.DOMParser; import org.w3c.dom.Document; import org.w3c.dom.Node;

public class TestHTMLDOM { public static void main(String[] argv) throws Exception { DOMParser parser = new DOMParser(); for (int i = 0; i < argv.length; i++) { parser.parse(argv[i]); print(parser.getDocument(), ""); } } public static void print(Node node, String indent) { // System.out.println(indent+node.getClass().getName()); if (node.getNodeValue() != null){ if("".equals(node.getNodeValue().trim())){ }else{ System.out.print(indent); System.out.println(node.getNodeValue()); } } Node child = node.getFirstChild(); while (child != null) { print(child, indent+" "); child = child.getNextSibling(); } } }

編譯運行如下：

cd $NEKOHTML _HOME
cp build_html.xml build.xml
ant
java -cp nekohtml .jar;nekohtmlSamples.jar;xmlParserAPIs.jar;xercesImpl.jar sample.TestHTMLDOM test.html

如果一切正常可以顯示HTML的內容了。
3、文檔 片段解析
　　除了DOM和SAX類，NekoHTML 還 提供了一個實驗性質的DOMFragmentParser類，用以解析HTML文件的片段。我個人認為，由于瀏覽器的強大的容錯能力，即使一個片段的 HTML文件，也可以正確顯示，由此也變相地造成了很多人不再關心的HTML的完整要求了。這個類，也許將是用的最多的。下面，看看nutch是如何使用nekoHTML 的。

package net.nutch.fetcher; ... import org.cyberneko.html.parsers.*; import org.xml.sax.*; import org.w3c.dom.*; import org.w3c.dom.html.*; import org.apache.html.dom.*;

/* A simple fetcher. */ public class Fetcher { .... private DOMFragmentParser parser = new DOMFragmentParser(); .... private void handleFetch(URL url, FetchListEntry fle, Http.Response response) throws IOException, SAXException { //判斷HTTP應答包的類型，只放過html文件 String contentType = response.getHeader("Content-Type"); if (contentType != null && !contentType.startsWith("text/html")) throw new IOException("Unknown content-type: " + contentType); //創建文件片段對象 DocumentFragment node = new HTMLDocumentImpl().createDocumentFragment(); //解析HTML內容 parser.parse(new InputSource(new ByteArrayInputStream(response.getContent())),node); //取得全部文本內容 StringBuffer sb = new StringBuffer(); getText(sb, node); String text = sb.toString(); //取得標題信息 sb.setLength(0); getTitle(sb, node); String title = sb.toString().trim(); //取得該頁所有的出鏈 ArrayList l = new ArrayList(); getOutlinks(url, l, node); //顯示結果，存儲信息 Outlink[] outlinks = (Outlink[])l.toArray(new Outlink[l.size()]); LOG.fine("found " + outlinks.length + " outlinks in " + url);

outputPage(new FetcherOutput(fle, MD5Hash.digest(response.getContent()), true, title, outlinks), new FetcherContent(response.getContent()), new FetcherText(text)); } private static void getText(StringBuffer sb, Node node) { if (node.getNodeType() == Node.TEXT_NODE) { sb.append(node.getNodeValue());//取得結點值，即開始與結束標簽之間的信息 } NodeList children = node.getChildNodes(); if ( children != null ) { int len = children.getLength(); for ( int i = 0; i < len; i++ ) { getText(sb, children.item(i));//遞歸遍歷DOM樹 } } }

private static boolean getTitle(StringBuffer sb, Node node) { if (node.getNodeType() == Node.ELEMENT_NODE) { if ("title".equalsIgnoreCase(node.getNodeName())) { getText(sb, node); return true; } } NodeList children = node.getChildNodes(); if (children != null) { int len = children.getLength(); for (int i = 0; i < len; i++) { if (getTitle(sb, children.item(i))) { return true; } } } return false; }

private static void getOutlinks(URL base, ArrayList outlinks, Node node) { if (node.getNodeType() == Node.ELEMENT_NODE) { if ("a".equalsIgnoreCase(node.getNodeName())) { StringBuffer linkText = new StringBuffer(); getText(linkText, node);

NamedNodeMap attrs = node.getAttributes(); String target= null; for (int i= 0; i < attrs.getLength(); i++ ) { if ("href".equalsIgnoreCase(attrs.item(i).getNodeName())) { target= attrs.item(i).getNodeValue();//在DOM樹中，屬性是一個結點。 break; } } if (target != null) try { URL url = new URL(base, target); outlinks.add(new Outlink(url.toString(),linkText.toString().trim())); } catch (MalformedURLException e) { // don't care } } } NodeList children = node.getChildNodes(); if ( children != null ) { int len = children.getLength(); for ( int i = 0; i < len; i++ ) { getOutlinks(base, outlinks, children.item(i));//遞歸遍歷DOM樹 } } } .... }

注意，此處傳遞給解析過程parse的文檔片段對象，必須是由org.w3c.dom.html.HTMLDocument類型的DOM文檔對象創建，否則有異常。
　　HTMLConfiguration可以用于創建任何基于XNI解析器，可參考下例

package sample;

import org.apache.xerces.parsers.AbstractSAXParser; import org.cyberneko.html.HTMLConfiguration;

public class HTMLSAXParser extends AbstractSAXParser { public HTMLSAXParser() { super(new HTMLConfiguration()); } }

?

三、設置解析器參數

　　為了更加精確的控制解析的動作，nekohtml 提供了相應的設置函數。如下列：

// settings on HTMLConfiguration org.apache.xerces.xni.parser.XMLParserConfiguration config =new org.cyberneko.html.HTMLConfiguration(); config.setFeature("http://cyberneko.org/html/features/augmentations", true); config.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");

// settings on DOMParser org.cyberneko.html.parsers.DOMParser parser = new org.cyberneko.html.parsers.DOMParser(); parser.setFeature("http://cyberneko.org/html/features/augmentations", true); parser.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");

?

nekohtml 功能(feature)列表

功能	默認值	描述
http://cyberneko.org/html/features/balance-tags	True	是否允許增補缺失的標簽。如果要以XML方式操作HTML文件，此值必須為真。此處提供設置功能，為了性能的原因。
http://cyberneko.org/html/features/balance-tags/ignore-outside-content	False	是否忽略文檔根元素以后的數據。如果為false，<html>和<bod>被忽略，所有的內容都被解析。
http://cyberneko.org/html/features/document-fragment	False	解析HTML片段時是否作標簽增補。此功能不要用在DOMParser上，而要用在DOMFragmentParser上。
http://apache.org/xml/features/scanner/notify-char-refs	False	當遇到字符實體引用（如＆#x20;）是否將(#x20)報告給相應地文檔處理器。
http://apache.org/xml/features/scanner/notify-builtin-refs	False	當遇到XML內建的字符實體引用（如＆amp;）是否將(amp)報告給相應地文檔處理器。
http://cyberneko.org/html/features/scanner/notify-builtin-refs	False	當遇到HTML內建的字符實體引用（如＆copy;）是否將(copy)報告給相應地文檔處理器。
http://cyberneko.org/html/features/scanner/script/strip-comment-delims	False	是否剝掉<script>元素中的<!-- -->等注釋符。
http://cyberneko.org/html/features/augmentations	False	是否將與HTML事件有關的infoset項包括在解析管道中。
http://cyberneko.org/html/features/report-errors	False	是否報告錯誤。

nekohtml 屬性列表

屬性	默認值	值域	描述
http://cyberneko.org/html/properties/filters	null	XMLDocumentFilter[]	在解析管道的最后按數組順序追加自定義的處理組件（過濾器），必須為數組類型。
http://cyberneko.org/html/properties/default-encoding	Windows-1252	IANA encoding names	默認的HTML文件編碼
http://cyberneko.org/html/properties/names/elems	upper	upper,lower,match	如果整理識別出的元素名稱
http://cyberneko.org/html/properties/names/attrs	lower	upper,lower,no-change	如果整理識別出的屬性名稱

?

四、管道過濾器

　　Xerces Native Interface (XNI)定義了一個解析器配置框架，在那兒一個個解析器以模塊化組件的形式組成一個管道。這樣一來，通過重新安排已有組件和/或新定制開發的組件，就可完成一個新的解析器配置工作。由于nekohtml 是采用這個配置框架開發的，所以對解析器新增功能就很簡單通過在默認的nekohtml 解析管道的末端增加文檔過濾器來實現。
　　要新開發一個過濾器，很簡單地實現xerces2的org.apache.xerces.xni.parser包中的XMLDocumentFilter接口即可。這個接口，一方面使組件成為管道中上一級的事件處理器，另一方面又成為下級的信息源。針對nekohtml 的過濾器開發，只需簡單地擴展org.cyberneko.html.filters包中的DefaultFilter類即可。
　　將自行開發的過濾器加入管道，可參考以下兩種辦法：

XMLDocumentFilter noop = new DefaultFilter(); XMLDocumentFilter[] filters = { noop };

XMLParserConfiguration parser = new HTMLConfiguration(); parser.setProperty("http://cyberneko.org/html/properties/filters", filters);

　　nekohtml 的org.cyberneko.html.filters 包中有DefaultFilter、
ElementRemover、Identity、Writer，能實現動態插入內容、刪除元素、序列化HTML文檔等，不詳細述。

總結

以上是生活随笔為你收集整理的NekoHTML学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。