首先聲明：

下面的源碼包改編來自github上老太太寫的一個"史上最簡單的DHT爬蟲“項目：

https://github.com/laomayi/simDHT

相關源碼在附件源碼包dht這個文件夾中,這個源碼使用python實現,需要使用到mysql數據庫.

下面是源碼目錄下的文件,比較簡潔,log文件是剛才運行時創建的.

源碼包位于http://download.csdn.net/detail/tao_627/7682169

為此我們需要先搭建一個LNMP環境, 或者更簡單點,只安裝一個MySQL數據庫.
從dht.py源碼我們得知爬蟲會將爬取結構輸入到mysql中,為此我們先要在mysql中
創建一個bt數據庫,在其中創建兩個InnoDB數據表bt_main_new,torrentdetail,
數據庫的用戶名是bt_user,密碼是5MKDfxmhmQDbSf,我們可以根據自己的需要在dht.py中的Master類中修改為我們的用戶名和密碼,為了簡單,我這里都改為root好了,
因為搭建LNMP時,我的MySQL用戶名和密碼就都設為root了.同時將數據庫名由bt改為dht.
vim dht.py
修改上述3處地方,改數據庫為dht, 用戶名和密碼為root.

為了后續管理數據庫方便,我們可以是Navicat for MySQL linux版本來訪問數據庫.

下面開始創建相關表格
create database dht;
use bt;
show tables;
使用dht目錄下面的sql腳本來分別創建這兩個數據表
source /home/taoyx/program_develop/dht/bt_main_new.sql;
source /home/taoyx/program_develop/dht/TorrentDetail.sql;
exit;


接著安裝python下面的MySQL模塊
在python環境下面,默認沒有安裝MySQLdb包,為此下面開始安裝.
從官網下面MySQL for Python源碼包
wget http://sourceforge.net/projects/mysql-python/files/latest/
或者
git clone https://github.com/farcepest/MySQLdb1.git
從源碼編譯,詳見下面的參考文獻.這里不詳述了.

或者為了快速方便直接在Ubuntu下面使用

sudo apt-get install python-mysqldb

在CentOS上使用
sudo yum install MySQL-python
然后,在命令行終端開啟腳本開始在dht網絡中搜集磁力鏈
python dht.py
下面是軟件截圖:

當然,這里有些小warning或是error之類的,考慮是demo,可以忽略,因為原理是通的,我們也可以在開源的基礎上繼續修改完善.

下面是爬取日志記錄的infohash值

為了理解dht爬蟲原理,下面附了幾篇不錯的文章,可以結合python代碼和dht協議進行理解.

參考文獻
[1].http://www.cnblogs.com/rollenholt/archive/2012/05/07/2487137.html
[2].http://blog.csdn.net/samxx8/article/details/6285013

[3].http://blog.csdn.net/wklken/article/details/7271019

[4].http://www.cppblog.com/kevinlynx/archive/2013/05/19/200410.html

[5].http://blog.csdn.net/mergerly/article/details/7989281

總結

以上是生活随笔為你收集整理的Ubuntu 14.04 64bit上磁力链爬虫dht部署指南的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。