???????本以為蜘蛛很簡單,根據一個url,抓取到html內容,然后根據正則匹配數據入庫.卻發現,越看資料越復雜,蜘蛛應該根據抓取相似頁面自動生成抓取模板,而且蜘蛛還要支持cookies和會自登錄等多種協議.
????????頁面解析方面,也不是簡單的獲得標題和內容那么簡單,還要做dom解析,js解析,模擬瀏覽器的可視化抓取等等.
????????先從頁面數據的抽取這方面入手研究吧.

轉載于:https://www.cnblogs.com/xinzhyu/archive/2008/05/29/1209743.html

總結

以上是生活随笔為你收集整理的垂直搜索引擎蜘蛛的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。