搜索引擎蜘蛛的功能與應用
　　網站能在搜索引擎被搜到，歸功于搜索引擎蜘蛛抓取的功勞，權重高，更新快的網站,搜索引擎蜘蛛會經常爬行，抓取網站最新數據，經過搜索引擎數據整理后，在搜索引擎上就能搜索到網站的網頁，為了更好的SEO優化網站，了解搜索引擎蜘蛛爬行規則也是相當重要的，怎么才能知道搜索引擎蜘蛛在爬行網站時間、爬行網頁、爬行反映呢，就要查看網站iis日志文件， iis默認的日志文件在C:/WINDOWS/system32/LogFiles中，從查看日志中，就可以了解搜索引擎蜘蛛爬行經過,如：

　　2008-08-19 00:09:12 W3SVC962713505 203.171.226.111 GET /index.html - 80 - 61.135.168.39 Baiduspider+

　　(+http://www.baidu.com/search/spider.htm) 200 0 64

　　1、203.171.226.111就是搜索引擎蜘蛛防問的網站ip,

　　2、61.135.168.39 Baiduspider代表，百度搜索引擎蜘蛛的ip是61.135.168.39,

　　3、代碼中的/index.html 就代表搜索引擎蜘蛛防問的網頁

　　4、2008-08-19 00:09:12代表搜索引擎蜘蛛爬行的日期與時間

　　5、代碼中的200就代表搜索引擎蜘蛛爬行后返回代碼代表,代碼中可以了解蜘蛛爬行后的反映，代碼如下:

　　6、W3SVC962713505代表網站日志所在的文件夾

　　2xx 成功

　　200 正常;請求已完成。

　　201 正常;緊接 POST 命令。

　　202 正常;已接受用于處理，但處理尚未完成。

　　203 正常;部分信息 — 返回的信息只是一部分。

　　204 正常;無響應 — 已接收請求，但不存在要回送的信息。

　　3xx 重定向

　　301 已移動 — 請求的數據具有新的位置且更改是永久的。

　　302 已找到 — 請求的數據臨時具有不同 URI。

　　303 請參閱其它 — 可在另一 URI 下找到對請求的響應，且應使用 GET 方法檢索此響應。

　　304 未修改 — 未按預期修改文檔。

　　305 使用代理 — 必須通過位置字段中提供的代理來訪問請求的資源。

　　306 未使用 — 不再使用;保留此代碼以便將來使用。

　　4xx 客戶機中出現的錯誤

　　400 錯誤請求 — 請求中有語法問題，或不能滿足請求。

　　401 未授權 — 未授權客戶機訪問數據。

　　402 需要付款 — 表示計費系統已有效。

　　403 禁止 — 即使有授權也不需要訪問。

　　404 找不到 — 服務器找不到給定的資源;文檔不存在。

　　407 代理認證請求 — 客戶機首先必須使用代理認證自身。

　　410 請求的網頁不存在(永久);

　　415 介質類型不受支持 — 服務器拒絕服務請求，因為不支持請求實體的格式。

　　5xx 服務器中出現的錯誤

　　500 內部錯誤 — 因為意外情況，服務器不能完成請求。

　　501 未執行 — 服務器不支持請求的工具。

　　502 錯誤網關 — 服務器接收到來自上游服務器的無效響應。

　　503 無法獲得服務 — 由于臨時過載或維護，服務器無法處理請求。

總結

以上是生活随笔為你收集整理的搜索引擎蜘蛛的功能与应用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。