作為公司官網(wǎng)，一成不變是不可能的，為了適應(yīng)市場(chǎng)變化和公司決策要求，會(huì)經(jīng)常進(jìn)行小范圍修改，甚至大結(jié)構(gòu)和底層調(diào)整。

作為一個(gè)網(wǎng)站運(yùn)營(yíng)人員很擔(dān)心因?yàn)榫W(wǎng)站改版造成網(wǎng)站收錄下降，排名降低，我們?nèi)绾螜?quán)衡利弊和規(guī)避風(fēng)險(xiǎn)？如何讓搜索引擎認(rèn)為這次改版我很喜歡，接下來我們聊下怎么讓它愛上我們的改版。

網(wǎng)站改版之后，相對(duì)之前百度索引量增加了3000（來源：百度站長(zhǎng)）

比如我們有個(gè)美女朋友小云，她平時(shí)喜歡化妝，由于妝容好看，讓人心曠神怡，大家都喜歡這樣美麗的小云，但是小云有一天對(duì)自己的鼻子不滿意了，她想去韓國。好，我們先暫停下。這里有個(gè)問題，整容是有風(fēng)險(xiǎn)的，失敗了怎么辦？可能還沒有當(dāng)前好看，也可能變得更美麗。所以這里就有一個(gè)賭的成分存在。如何讓贏口更大呢，那就是花大價(jià)錢，找更專業(yè)和口碑更好的整容機(jī)構(gòu)來進(jìn)行。做好一切失敗的預(yù)案，在確保成功率95%以上時(shí)，小云踏上了韓國之旅。

小云前期準(zhǔn)備的比較充足，醫(yī)生也很專業(yè)，后期保養(yǎng)很到位，小云的鼻子比原來更挺，襯托整個(gè)臉都更加立體和美麗。這是一次成功的整型手術(shù)。讓小云的美麗加分很多，吸引了更多人的關(guān)注。

反之如果小云前期并沒有思考那么多，愛美的沖動(dòng)超越了一切，拿起錢直奔韓國，找了一家宣傳很好價(jià)格打到骨折的就開始了變美手術(shù)，那么會(huì)這么順利嗎？可能回來之后大家輕則背后議論嘲笑，重則人都不認(rèn)識(shí)了。

放到我們網(wǎng)站上亦是如此，每次網(wǎng)站大的改版都相當(dāng)于一次整容，改的好，搜索引擎更加喜愛，隔三差五來一次，畢竟愛美之心人皆有之，爬蟲也不例外。

改的不好，給搜索引擎設(shè)立了很多障礙，爬這個(gè)不允許，爬那個(gè)進(jìn)不去。小爬蟲此時(shí)的心情非常糟糕，感覺這個(gè)網(wǎng)站已經(jīng)不歡迎我了。扭頭走掉，爬蟲回去之后打開曾經(jīng)抓取的頁面，想回憶下曾經(jīng)你們?cè)谝黄鸬拿篮?#xff0c;發(fā)現(xiàn)很多打不開了，什么？？？做事情怎么能這么絕情？經(jīng)過這兩次傷害，小爬蟲心灰意冷，萬念俱灰之下計(jì)劃展開報(bào)復(fù)。首先和你劃清界限，不去你這里了，其次將你們?cè)?jīng)的美好都扔到垃圾桶，不想在看到，也不讓別人看到。并且把你的信息扔到了小灰盒里，短時(shí)間不想搭理你，等你什么時(shí)候知道錯(cuò)了，改正了，求抱抱了，再過來和你一起玩兒。

ok，我們現(xiàn)在大概知道小爬蟲的想法了，小爬蟲喜歡什么樣的網(wǎng)站呢？如何基于小爬蟲的喜愛來進(jìn)行網(wǎng)站的改版迭代呢？

第一、網(wǎng)站結(jié)果邏輯清晰，引導(dǎo)路徑明了

無論什么網(wǎng)站邏輯結(jié)構(gòu)是基礎(chǔ)，就是主次分明，主要的內(nèi)容放置在導(dǎo)航，次要內(nèi)容放置二級(jí)導(dǎo)航或者二級(jí)頁面，依次類推，這里重點(diǎn)說下H標(biāo)簽，H標(biāo)簽是為了突出重點(diǎn)而存在，爬蟲來到我們的頁面時(shí)也是優(yōu)先看下這個(gè)頁面的H1標(biāo)簽是什么意思，然后斷定這個(gè)頁面的主旨意思，進(jìn)而做主詞提取和映射分類。

所以這里需要特別注意的就是，一個(gè)頁面我們有且僅有一個(gè)H1標(biāo)簽，切記不可亂用，H1濫用的后果就是，爬蟲來到一個(gè)頁面不知道到底要表達(dá)什么意思，出現(xiàn)理解混亂，輕者隨意指定一個(gè)詞，重者按照非標(biāo)準(zhǔn)頁面不予收錄，不管是哪一個(gè)都不是我們期望的結(jié)果，所以還是要有層次的使用H標(biāo)簽，切勿亂用。

大家可能會(huì)問了，H1不可亂用H2我是不是可以任意妄為？No，H2標(biāo)簽雖然沒有H1標(biāo)簽?zāi)敲疵舾?#xff0c;沒有講究唯一性，但是也不是隨便什么內(nèi)容都可以使用H2，我們有的工程師甚至有吧H2標(biāo)簽當(dāng)成加粗字體來使用的，恐怖如斯啊，H2標(biāo)簽存在的意義是次要標(biāo)題，比如一個(gè)文章列表頁，主標(biāo)題可能是分類的名稱，次要標(biāo)題應(yīng)該是分類下的文章名稱。而不是什么相關(guān)文章也可以使用H2標(biāo)簽。這里咱們舉個(gè)反面例子，也就他可以有這個(gè)特權(quán)，做錯(cuò)了事情還可以排名不受影響。

百度自家產(chǎn)品也不遵守相關(guān)規(guī)則

所以我們的頁面結(jié)構(gòu)要遵從語義上的邏輯結(jié)構(gòu)，爬蟲他看到的是源碼頁面，代碼上面的邏輯清晰，它抓取的才更順利，自然抓取的內(nèi)容也是我們期望的結(jié)果。使用H標(biāo)簽時(shí)要按照層級(jí)來使用。

第二、URL不要變，如果要變，一定要做好301跳轉(zhuǎn)

這個(gè)是蜘蛛找到我們的路徑，也是蜘蛛索引的地址，非常不建議再改版網(wǎng)站時(shí)把地址也改掉了，但是也有原來的地址不符合閱讀習(xí)慣或者不合適的情況，既然要變，切記要做好記錄，哪些地址變了，舊地址是什么，新地址是什么做一個(gè)對(duì)比表，在Nginx上面做好301映射，防止蜘蛛迷路。

如果改版的地址是永久性質(zhì)，一定要使用301跳轉(zhuǎn)，不要使用302，302是臨時(shí)跳轉(zhuǎn)，搜索引擎對(duì)這個(gè)返回持保留意見，并不會(huì)丟棄舊地址而301就是告訴搜索引擎，我永久使用這個(gè)地址，請(qǐng)丟棄舊的。

盡量使用服務(wù)端跳轉(zhuǎn)，比如在Nginx或者服務(wù)器端配置跳轉(zhuǎn)，不要在頁面上使用meta或者js實(shí)現(xiàn)。

第三、埋點(diǎn)監(jiān)測(cè)，配合熱圖了解用戶行為偏好，驗(yàn)證改版是否符合預(yù)期

AB測(cè)試是貫穿我們網(wǎng)站運(yùn)營(yíng)始終的存在，我們每一次改變應(yīng)該有數(shù)據(jù)支撐，依靠數(shù)據(jù)來做結(jié)果判斷，不要一味的相信自己的經(jīng)驗(yàn)。

比如我們都堅(jiān)信周末時(shí)間是休息日，大家使用TOB產(chǎn)品的頻次較低，轉(zhuǎn)化一般不高，但是事實(shí)證明，周末兩天的轉(zhuǎn)化率高于平時(shí)。

周六周日的轉(zhuǎn)化率高于平時(shí)（來源：易觀方舟）

運(yùn)營(yíng)應(yīng)該以數(shù)據(jù)為準(zhǔn)，用數(shù)據(jù)說話，避免經(jīng)驗(yàn)主義，這樣才能讓每次改版或者優(yōu)化有結(jié)果反饋。我們?cè)谧蛲砀陌嬷?#xff0c;應(yīng)該以一周為周期，來觀察我們的改版是否符合預(yù)期，用戶使用路徑是否得到了改善，是否提升了客戶留資率和訪問率。

第四、站長(zhǎng)平臺(tái)提交改版規(guī)則，如果只是改頁面，沒有修改URL地址，則不用去提交。目的就是加快百度對(duì)新地址收錄。

打個(gè)比方，我們有一家店面，現(xiàn)在由于業(yè)務(wù)擴(kuò)張，要喬遷新址，可是百度地圖還是記錄我們老的地址，為了讓客戶能及時(shí)找到我們，會(huì)在百度地圖請(qǐng)求更新地址。

因?yàn)榘俣鹊刂犯孪鄬?duì)滯后，主動(dòng)提交就可以提升效率，我們?cè)诎俣绕脚_(tái)提交改版規(guī)則就是這個(gè)目的，主動(dòng)提醒搜索引擎我們做了改變，新地址是什么。

第五、如果是做了一個(gè)新網(wǎng)站，結(jié)構(gòu)和域名都變了，切記要保留老網(wǎng)站一段時(shí)間，半年時(shí)間為佳，保證蜘蛛能正常訪問，慢慢向新網(wǎng)站導(dǎo)流。

這里有一個(gè)技巧，如果可以的話老站和新站部署兩套，老站增加新站入口，讓用戶和搜索引擎有個(gè)適應(yīng)期。這樣能充分保持索引就算新站效果不好，老站還可以頂一頂。如果網(wǎng)站不好這樣操作，則記得去百度站長(zhǎng)平臺(tái)進(jìn)行提交改版規(guī)則。

單事與愿違，有的網(wǎng)站本身比較耗費(fèi)資源，部署兩套環(huán)境對(duì)硬件資源消耗較大，最好的方案是官網(wǎng)盡量部署兩套，就是純文本資源和產(chǎn)品體驗(yàn)功能剝離開，盡量保證舊的索引存在一段時(shí)間，如果這個(gè)也無法實(shí)現(xiàn)，那么切記統(tǒng)計(jì)好所有頁面和新頁面的對(duì)應(yīng)關(guān)系，做一個(gè)詳細(xì)的改版規(guī)則提交給搜索引擎。

第六：頁面Title和Description能不變就不要改變，如果迫不得已真的想改，那就一次改到位，不要零零散散的改，經(jīng)常變動(dòng)會(huì)影響蜘蛛對(duì)網(wǎng)站的判斷，降權(quán)比較厲害。

這里多說兩句，因?yàn)樽约涸?jīng)踩過坑，當(dāng)時(shí)為了讓首頁排名靠前，首頁上的關(guān)鍵詞想盡可能使用流量比較大的詞，當(dāng)時(shí)沒有確定用哪個(gè)，差不多1天改一次，反反復(fù)復(fù)這樣折騰了一周，最后發(fā)現(xiàn)原來排名靠前的關(guān)鍵詞也掉到了第二頁之后，當(dāng)時(shí)不知道原因，以為是改動(dòng)網(wǎng)站頁面結(jié)構(gòu)導(dǎo)致的，因?yàn)槟且恢芨膭?dòng)確實(shí)太頻繁，后來看快照發(fā)現(xiàn)快照是新的，那證明收錄正常，排名下降只能說明權(quán)重受到了影響，當(dāng)時(shí)想的可能是標(biāo)題改動(dòng)導(dǎo)致的，停了將近2周時(shí)間，排名才恢復(fù)。所以改標(biāo)題一定要慎重。

第七：404頁面一定要設(shè)置好，404頁面盡量設(shè)計(jì)一個(gè)好看一點(diǎn)，如果出現(xiàn)無法訪問的頁面，做好客戶引導(dǎo)，將客戶引導(dǎo)到首頁或者欄目頁，不要讓客戶真正的走丟。

網(wǎng)絡(luò)搜索一下個(gè)性404頁面，很多參考，404本身是一個(gè)不怎么友好的存在，對(duì)用戶好感度是一個(gè)很大的消耗，如果設(shè)計(jì)好看，正好可以中和下用戶的反感，同時(shí)告訴用戶找不到當(dāng)前資源還可以做什么，比如放一個(gè)搜索框或者文字鏈接引導(dǎo)到首頁等等，盡最大努力留住客戶是我們的目的。

上面主要列舉了一些改版中應(yīng)該注意的點(diǎn)，落實(shí)的好將會(huì)讓我們網(wǎng)站改版的傷害降到最低，雖然改版對(duì)網(wǎng)站收錄有風(fēng)險(xiǎn)，但是操作的好利大于弊，新網(wǎng)站一定是符合用戶習(xí)慣和搜索引擎的，不然改版的意義就不存在，所以利用搜索引擎對(duì)我們重新審視的這個(gè)期限，我們應(yīng)該保持初心，定時(shí)定量輸出優(yōu)質(zhì)內(nèi)容。讓搜索引擎對(duì)我們的好感度持續(xù)保鮮。

總結(jié)

以上是生活随笔為你收集整理的爬虫404如何跳过_网站改版之后的一次思考：网站改版会让网站受伤？我们如何让他不降反升...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。