百度
蜘蛛，是
百度搜索引擎的一個自動程序。它的作用是訪問收集整理互聯(lián)網(wǎng)上的
網(wǎng)頁、圖片、視頻等內(nèi)容，然后分門別類建立
索引數(shù)據(jù)庫， 使用戶能在百度搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁、圖片、視頻等內(nèi)容。

中文名

百度蜘蛛

外文名

Baidu Spider

程序性質(zhì)

自動程序

作用

抓取整理數(shù)據(jù)

目錄

1. 1 工作機制
2. 2 狀態(tài)代碼
3. ▪ 成功

1. ▪ 重定向
2. ▪ 代碼中的錯誤
3. 3 問題解答

1. 4 應(yīng)用提示

工作機制

編輯

1. 百度
   蜘蛛的構(gòu)建的原理。搜
   索引擎構(gòu)建一個調(diào)度程序，來調(diào)度百度蜘蛛的工作，讓百度蜘蛛去和
   服務(wù)器建立連接下載
   網(wǎng)頁，計算的過程都是通過調(diào)度來計算的，百度蜘蛛只是負責(zé)下載網(wǎng)頁，目前的搜索引擎普遍使用廣布式多服務(wù)器多線程的百度蜘蛛來達到多線程的目的。
2. 百度蜘蛛的運行原理。

百度蜘蛛程序

（1）通過
百度蜘蛛下載回來的
網(wǎng)頁放到補充數(shù)據(jù)區(qū)，通過各種程序計算過后才放到檢索區(qū)，才會形成穩(wěn)定的排名，所以說只要下載回來的東西都可以通過指令找到，補充數(shù)據(jù)是不穩(wěn)定的，有可能在各種計算的過程中給k掉，檢索區(qū)的數(shù)據(jù)排名是相對比較穩(wěn)定的，百度目前是緩存機制和補充數(shù)據(jù)相結(jié)合的，正在向補充數(shù)據(jù)轉(zhuǎn)變，這也是目前百度收錄困難的原因，也是很多
站點今天給k了明天又放出來的原因。 （2）深度優(yōu)先和權(quán)重優(yōu)先，百度
蜘蛛抓頁面的時候從起始站點（即種子站點指的是一些門戶站點）是百度優(yōu)先抓取是為了抓取更多的網(wǎng)址，深度優(yōu)先抓取的目的是為了抓取高質(zhì)量的網(wǎng)頁，這個策略是由調(diào)度來計算和分配的，百度蜘蛛只負責(zé)抓取，權(quán)重優(yōu)先是指
反向連接較多的頁面的優(yōu)先抓取，這也是調(diào)度的一種策略，一般情況下
網(wǎng)頁抓取抓到40%是正常范圍，60%算很好，100%是不可能的，當(dāng)然抓取的越多越好。 百度蜘蛛的工作要素。 百度蜘蛛在從首頁登陸后抓取首頁后調(diào)度會計算其中所有的連接，返回給百度蜘蛛進行下一步的抓取連接列表，百度蜘蛛再進行下一步的抓取，網(wǎng)址地圖的作用是為了給百度蜘蛛提供一個抓取的方向，來左右百度蜘蛛去抓取重要頁面，如何讓百度蜘蛛知道哪個頁面是重要頁面？可以通過連接的構(gòu)建來達到這個目的，越多的頁面指向該頁，網(wǎng)址首頁的指向，副頁面的指向等等都能提高該頁的權(quán)重，地圖的另外一個作用是給百度蜘蛛提供更多的連接來達到抓去更多頁面的目的，地圖其實就是一個連接的列表提供給百度蜘蛛，來計算你的
目錄結(jié)構(gòu)，找到通過站內(nèi)連接來構(gòu)建的重要頁面。 百度
蜘蛛原理的應(yīng)用。 補充數(shù)據(jù)到主檢索區(qū)的轉(zhuǎn)變：在不改變板塊結(jié)構(gòu)的情況下，增加相關(guān)連接來提高
網(wǎng)頁質(zhì)量，通過增加其他頁面對該頁的
反向連接來提高權(quán)重，通過外部連接增加權(quán)重。如果改變了板塊結(jié)構(gòu)將導(dǎo)致seo的重新計算，所以一定不能改變板塊結(jié)構(gòu)的情況下來操作，增加連接要注意一個連接的質(zhì)量和反向連接的數(shù)量的關(guān)系，短時間內(nèi)增加大量的反向連接將導(dǎo)致k站，連接的相關(guān)性越高，對排名越有利。

狀態(tài)代碼

編輯

成功

200 正常;請求已完成。 201 正常;緊接
POST命令。 202 正常;已接受用于處理，但處理尚未完成。 203 正常;部分信息 — 返回的信息只是一部分。 204 正常;無響應(yīng) — 已接收請求，但不存在要回送的信息。

重定向

301 永久重定向 — 請求的數(shù)據(jù)具有新的位置且更改是永久的。 302 暫時重定向 — 請求的數(shù)據(jù)臨時具有不同URI。 303 請參閱其它 — 可在另一URI下找到對請求的響應(yīng)，且應(yīng)使用 GET方法檢索此響應(yīng)。 304 未修改 — 未按預(yù)期修改文檔。 305 使用代理 — 必須通過位置字段中提供的代理來訪問請求的資源。 306 未使用 — 不再使用;保留此代碼以便將來使用。

代碼中的錯誤

400 錯誤請求 — 請求中有語法問題，或不能滿足請求。 401 未授權(quán) — 未授權(quán)客戶機訪問數(shù)據(jù)。 402 需要付款 — 表示
計費系統(tǒng)已有效。 403 禁止— 即使有授權(quán)也不需要訪問。 404 找不到—
服務(wù)器找不到給予的資源;文檔不存在。 406 不可接受 — 根據(jù)此請求中所發(fā)送的“接受”標題，此請求所標識的資源只能生成內(nèi)容特征為“不可接受”的響應(yīng)實體。 407 代理認證請求 — 客戶機首先必須使用代理認證自身。 410 請求的
網(wǎng)頁不存在(永久); 415 介質(zhì)類型不受支持 —服務(wù)器拒絕服務(wù)請求，因為不支持請求實體的格式。 500 內(nèi)部錯誤 — 因為意外情況，服務(wù)器不能完成請求。 501 未執(zhí)行 —服務(wù)器不支持請求的工具。 502 錯誤網(wǎng)關(guān)—服務(wù)器接收到來自上游服務(wù)器的無效響應(yīng)。 503 無法獲得服務(wù) — 由于臨時過載或維護，
服務(wù)器無法處理請求。

問題解答

編輯

Baiduspider對一個網(wǎng)站
服務(wù)器造成的訪問壓力如何？ 答：Baiduspider會自動根據(jù)服務(wù)器的負載能力調(diào)節(jié)訪問密度。在連續(xù)訪問一段時間后，Baiduspider會暫停一會，以防止增大服務(wù)器的訪問壓力。所以在一般情況下，Baiduspider對您網(wǎng)站的服務(wù)器不會造成過大的壓力。 為什么Baiduspider不停的抓取我的網(wǎng)站？
百度蜘蛛工作圖

答：或許您的網(wǎng)站權(quán)重高或者對于您網(wǎng)站上新產(chǎn)生的或者持續(xù)、有規(guī)律更新的頁面，Baiduspider會持續(xù)抓取。此外，您也可以檢查網(wǎng)站訪問
日志中Baiduspider的訪問是否正常，以防止有人惡意冒充Baiduspider來頻繁抓取您的網(wǎng)站。 如果您發(fā)現(xiàn)Baiduspider非正常抓取您的網(wǎng)站，請反饋至，并請盡量給出Baiduspider對貴站的訪問日志，以便于我們跟蹤處理。 我不想我的網(wǎng)站被
Baiduspider訪問，我該怎么做？ 答：Baiduspider遵守互聯(lián)網(wǎng)
robots協(xié)議。您可以利用
robots.txt文件完全禁止Baiduspider訪問您的網(wǎng)站，或者禁止Baiduspider訪問您網(wǎng)站上的部分文件。 注意：禁止Baiduspider訪問您的網(wǎng)站，將使您的網(wǎng)站上的
網(wǎng)頁，在
百度搜索引擎以及所有百度提供搜索引擎服務(wù)的搜索引擎中無法被搜索到。 ps:關(guān)于robots.txt的寫作方法，請參看我們的介紹：robots.txt寫作方法 為什么我的網(wǎng)站已經(jīng)加了robots.txt，還能在
百度搜索出來？ 答：因為搜
索引擎索引數(shù)據(jù)庫的更新需要時間。雖然Baiduspider已經(jīng)停止訪問您網(wǎng)站上的網(wǎng)頁，但百度搜索引擎數(shù)據(jù)庫中已經(jīng)建立的網(wǎng)頁索引信息，可能需要二至四周才會清除。 另外也請檢查您的
robots配置是否正確。 我希望我的網(wǎng)站內(nèi)容被百度索引但不被保存快照，我該怎么做？ 答：Baiduspider遵守互聯(lián)網(wǎng)metarobots協(xié)議。您可以利用
網(wǎng)頁meta的設(shè)置，使百度顯示只對該網(wǎng)頁建索引，但并不在搜索結(jié)果中顯示該網(wǎng)頁的快照。 和robots的更新一樣，因為搜
索引擎索引數(shù)據(jù)庫的更新需要時間，所以雖然您已經(jīng)在網(wǎng)頁中通過meta禁止了百度在搜索結(jié)果中顯示該網(wǎng)頁的快照，但
百度搜索引擎數(shù)據(jù)庫中如果已經(jīng)建立了網(wǎng)頁索引信息，可能需要二至四周才會在線上生效。 百度
蜘蛛在
robots.txt中的名字是什么？ 答：“Baiduspider” 首字母B大寫，其余為小寫。 Baiduspider多長時間之后會重新抓取我的
網(wǎng)頁？ 答：百度搜索引擎每周更新，網(wǎng)頁視重要性有不同的更新率，頻率在幾天至一月之間，Baiduspider會重新訪問和更新一個網(wǎng)頁。 Baiduspider抓取造成的帶寬堵塞？ 答：Baiduspider的正常抓取并不會造成您網(wǎng)站的帶寬堵塞，造成此現(xiàn)象可能是由于有人冒充baidu的spider惡意抓取。如果您發(fā)現(xiàn)有名為Baiduspider的agent抓取并且造成帶寬堵塞，請盡快和我們聯(lián)系。您可以將信息反饋至百度
網(wǎng)頁投訴中心，如果能夠提供您網(wǎng)站該時段的訪問
日志將更加有利于我們的分析。

應(yīng)用提示

編輯

第一，要想排名靠前，
目標關(guān)鍵詞應(yīng)該完整匹配地出現(xiàn)在網(wǎng)頁的前面。 第二，百度蜘蛛似乎更注重網(wǎng)站頁面的層次結(jié)構(gòu)。與Google相比，百度蜘蛛更加重視網(wǎng)站內(nèi)部頁面結(jié)構(gòu)的層次，有點爬蟲類的味道，越黑越深，它越是喜歡往里鉆，不相信你做100個頁面，做得再漂亮，只要鏈接沒有層次，你最多就孤零零的被收錄可憐的一點點東西。 第三，百度蜘蛛極為活躍，抓取網(wǎng)頁的頻率和數(shù)量都非常大。百度蜘蛛幾乎每天都會訪問你的新站，并且至少抓取幾十個網(wǎng)頁。大量捕獲是百度的強項，其他任何搜索引擎都沒辦法相比。但是百度中文網(wǎng)頁數(shù)目并不是最大的，百度蜘蛛抓取的頻率和網(wǎng)頁更新情況有關(guān)。天天更新的網(wǎng)站一定會吸引百度蜘蛛更頻繁的訪問，百度對天天更新的站最敏感，徹底換內(nèi)容更敏感。 第四，百度并不被所謂的優(yōu)化迷惑，Google對優(yōu)化好像遠遠沒有百度敏感，百度尤其反感所謂的優(yōu)化，不知道百度是用什么方法識別網(wǎng)站優(yōu)化的。我的看法是目前最”先進“ 的優(yōu)化方法，好像對百度沒什么大的作用，大家都這么干了，機器人是有點死腦筋，但是百度那些IT也不是吃白飯的哈，要知道他是全球最先進的中文搜索老大，Google在中文搜索這塊畢竟與百度還沒得比。 第五，百度
排名算法是以網(wǎng)頁為基礎(chǔ)，比較少關(guān)注整個網(wǎng)站的主題。聯(lián)系到上一點，這說明百度排名算法中比較注重內(nèi)部結(jié)構(gòu)缺少完整的語義分析。所以一些目 前比較認同的關(guān)于“
site：”之間那幾個所謂關(guān)系到搜索質(zhì)量的東西，并不是百度蜘蛛所最敏感的。 第六，充分利用百度的一個最大的優(yōu)勢——收錄速度快。 影響因素

1. 采集內(nèi)容、復(fù)制內(nèi)容
2. 網(wǎng)站標題頻繁更改
3. 服務(wù)器或者空間不穩(wěn)定
4. 域名DNS解析不穩(wěn)定
5. 群發(fā)外鏈

對應(yīng)名稱 產(chǎn)品名稱 對應(yīng)
user-agent 網(wǎng)頁搜索 Baiduspider 無線搜索 Baiduspider 圖片搜索 Baiduspider-image 視頻搜索 Baiduspider-video 新聞搜索 Baiduspider-news 百度搜藏 Baiduspider-favo 百度聯(lián)盟Baiduspider-cpro 競價蜘蛛Baiduspider-sfkr

總結(jié)

以上是生活随笔為你收集整理的百度搜索引擎(百度产品大全)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。