1、首先搭建好hadoop環境，具體過程不詳細說了，網上的教程很多。

2、下載nutch，在其目錄下面運行ant，將會產生runtime目錄。然后配置nutch-site.xml等文件，可以參考http://wiki.apache.org/nutch/NutchHadoopTutorial。

注意的是runtime下面有一個local目錄和一個deploy目錄，一般博客寫的都是在local目錄下面運行的，這個是單機運行。而deploy目錄下面運行是分布式運行。

3、nutch連接數據庫mysql。只是需要修改幾個配置文件即可，還要注意編碼問題。

4、分布式下面運行nutch。是在deploy目錄下面運行hadoop jar apache-nutch-${version}.job org.apache.nutch.crawl.Crawl urls -dir crawl -depth 3 -topN 5。我當時參考上面這個英文的文檔運行，遇到了很多問題，首先，文檔中的命令是有問題的。一直報錯不能找到org.apache.nutch.crawl.Crawl這個類。我把classPath都配置了，還是不行，后來一看src下面是org.apache.nutch.crawl.Crawler。

當然其中還有各種問題，有些可能忘記了。

總結

以上是生活随笔為你收集整理的nutch mysql hadoop_nutch2.2.1+ hadoop1.2.1 + mysql5.6.13的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。