IIS日志作用与分析
??? 相信很多站長(zhǎng)都知道IIS日志的存在,可是并不重視,因?yàn)橐恍┗緮?shù)據(jù)我在站長(zhǎng)工具就可以查詢到,何必去看IIS日志呢?你這樣想,就錯(cuò)了。想要了解真正的去了解蜘蛛,了解網(wǎng)站概況,觀察IIS日志是必須的!
那么通過(guò)IIS日志我們能知道什么?
?? 1、我們發(fā)的外鏈?zhǔn)欠衿鸬叫Ч?
?? 2、我們買的空間是否能夠穩(wěn)定?
?? 3、蜘蛛對(duì)我們的那些頁(yè)面比較喜歡而對(duì)哪些不喜歡?
?? 4、蜘蛛什么時(shí)候抓取我們的網(wǎng)站頻繁,我們需要什么時(shí)候更新內(nèi)容?
而這些問(wèn)題其實(shí)我們可以通過(guò)我們的服務(wù)器IIS日志可以簡(jiǎn)單的分析出來(lái),作為一個(gè)合格的SEO,要真正會(huì)分析IIS日志才可以而不是簡(jiǎn)單的去看看狀態(tài)碼,下面給大家介紹幾點(diǎn)通過(guò)IIS日志分析出的網(wǎng)站問(wèn)題。
?? 一、IIS日志的重要作用?
?? 1.通過(guò)IIS日志可以了解蜘蛛對(duì)網(wǎng)站的基本爬取情況,可以知道蜘蛛的爬取軌跡和爬取量,通過(guò)我們的IIS日志,外鏈的多和少和網(wǎng)站蜘蛛的爬取量 是有直接影響的,我們所說(shuō)的鏈接誘餌就是如果你做了一個(gè)外鏈,蜘蛛在爬取這個(gè)外鏈頁(yè)面并把頁(yè)面放出來(lái)時(shí),蜘蛛可以通過(guò)你留的這個(gè)鏈接來(lái)爬取你的網(wǎng)站,而 IIS日志正是會(huì)記錄下蜘蛛的這次爬取行動(dòng)。
?? 2.網(wǎng)站的更新頻率也和IIS日志中蜘蛛抓取的頻率有關(guān),一般來(lái)說(shuō)更新頻率越高,蜘蛛的抓取頻率越高,而我們網(wǎng)站的更新不僅僅只是新內(nèi)容的添加同時(shí)還有我們的微調(diào)操作。
?? 3.我們可以根據(jù)IIS日志的反應(yīng)情況,對(duì)我們的空間的某些事情和問(wèn)題提前進(jìn)行預(yù)警,因?yàn)榉?wù)器如果出問(wèn)題的話在IIS日志中會(huì)第一時(shí)間反映出來(lái),要知道服務(wù)器的穩(wěn)定速度和打開速度兩者都會(huì)直接影響我們的網(wǎng)站。
?? 4.通過(guò)IIS日志我們可以知道網(wǎng)站的那些頁(yè)面是很受蜘蛛歡迎的,而哪些頁(yè)面是蜘蛛連碰都不去碰的,同時(shí)我們還能發(fā)現(xiàn)有一些蜘蛛由于是過(guò)度爬取對(duì)我們的服務(wù)器資源損耗是很大的,我們要進(jìn)行屏蔽工作。
?? 二、如何下載日志及日志設(shè)置注意事項(xiàng)?
?? 1.首先我們的空間要支持IIS日志下載,這一點(diǎn)是很重要的,在我們購(gòu)買空間之前必須要先問(wèn)好支不支持IIS日志下載,因?yàn)橛械姆?wù)商是不提供這 項(xiàng)服務(wù)的,如果支持的話空間后臺(tái)一般都有日志W(wǎng)ebLog日志下載這個(gè)功能把它下載到根目錄在用FTP傳到本地就可以,服務(wù)器的話可以設(shè)置將日志文件下載 到指定路徑。
?? 2.這里有個(gè)很重要的問(wèn)題,IIS日志強(qiáng)烈建議設(shè)置成每小時(shí)生成一次,小型的企業(yè)站和頁(yè)面內(nèi)容較少的網(wǎng)站可以設(shè)置成一天,它默認(rèn)是一天,如果內(nèi)容 多或者大型站設(shè)置成一天生成一次,那么一天只生成一個(gè)文件,這個(gè)文件會(huì)相當(dāng)?shù)拇?#xff0c;我們有時(shí)電腦打開是會(huì)造成死機(jī),設(shè)置的話找空間商協(xié)調(diào)設(shè)置即可。
?? 三、IIS日志的分析。
?? 1.日志的后綴名是log的我們用記事本打開,選擇格式里的自動(dòng)換行這樣看起來(lái)方便,同時(shí)用搜索功能搜索BaiduSpider和Googlebot這兩個(gè)蜘蛛。
?? 例如:
?? 百度蜘蛛
?? 2012-03-13 00:47:10 W3SVC177 116.255.169.37 GET / – 80 – 220.181.51.144 Baiduspider-favo+(+ baidu /search/spider ) 200 0 0 15256 197 265
?? 谷歌機(jī)器人
?? 2012-03-13 08:18:48 W3SVC177 116.255.169.37 GET /robots.txt – 80 – 222.186.24.26 Googlebot/2.1+(+ google /bot ) 200 0 0 985 200 31
?? 我們分段來(lái)解釋
?? 2012-03-13 00:47:10 蜘蛛爬取的日期和時(shí)間點(diǎn)
?? W3SVC177 這個(gè)是機(jī)器碼這個(gè)是惟一的 我們不去管它
?? 116.255.169.37 這個(gè)IP地址是服務(wù)器的IP地址
?? GET 代表事件
?? GET后面就是蜘蛛爬取的網(wǎng)站頁(yè)面,斜杠就代表首頁(yè)
?? 80 是端口的意思
?? 220.181.51.144 這個(gè)IP則是蜘蛛的IP,這里告訴大家一個(gè)鑒別真假百度蜘蛛的方法,我們電腦點(diǎn)擊開始運(yùn)行輸入cmd打開命令提示符,輸入nslookup空格加蜘蛛IP點(diǎn)擊回車,一般真百度蜘蛛都有自己的服務(wù)器IP而假蜘蛛則沒有。
?? 如果網(wǎng)站中出現(xiàn)了大量的假蜘蛛則說(shuō)明有人冒充百度蜘蛛來(lái)采集你的內(nèi)容,你就需要注意了,如果太猖獗那會(huì)很占用你的服務(wù)器資源,我們需要屏蔽他們的IP.
?? 200 0 0這里是狀態(tài)碼 狀態(tài)碼的意思可以在百度里搜索下
?? 197 265最后兩個(gè)數(shù)字則代表著訪問(wèn)和下載的數(shù)據(jù)字節(jié)數(shù)。
?? 2.我們分析的時(shí)候先看看狀態(tài)碼 200代表下載成功,304代表頁(yè)面未修改,500代表服務(wù)器超時(shí),這些是一般的其他代碼可以百度一下,對(duì)于不同的問(wèn)題我們要處理。
?? 3.我們要看蜘蛛經(jīng)常爬取哪些頁(yè)面,我們要記錄下來(lái),分析他們?yōu)槭裁磿?huì)經(jīng)常被蜘蛛爬取,從而分析出蜘蛛所喜歡內(nèi)容。
?? 4.有時(shí)候我們的路徑不統(tǒng)一出現(xiàn)帶斜杠和不帶斜杠的問(wèn)題,蜘蛛會(huì)自動(dòng)識(shí)別為301跳轉(zhuǎn)到帶斜杠的頁(yè)面,這里我們就發(fā)現(xiàn)了搜索引擎是可以判斷我們的目錄的,所以我們要對(duì)我們的目錄進(jìn)行統(tǒng)一。
?? 5.我們分析日志分析時(shí)間長(zhǎng)了,我們能夠看出蜘蛛的抓取規(guī)律,同一目錄下面的單個(gè)文件的抓取頻率間隔和不同目錄的抓取頻率間隔都可以看出來(lái),這些抓取頻率間隔時(shí)間是蜘蛛根據(jù)網(wǎng)站權(quán)重和網(wǎng)站更新頻率來(lái)自動(dòng)確定的。
?? 6.蜘蛛對(duì)于我們的頁(yè)面的抓取是分等級(jí)的,是根據(jù)權(quán)重依次遞減的,一般順序?yàn)槭醉?yè)、目錄頁(yè)、內(nèi)頁(yè)。
?? 7.不同IP的蜘蛛他們的抓取頻率也是不相同的
?? IIS日志是我們分析網(wǎng)站的重要參考數(shù)據(jù),我們要經(jīng)常對(duì)其進(jìn)行分析,總結(jié)經(jīng)驗(yàn),這樣可以讓我們對(duì)網(wǎng)站一些問(wèn)題了如指掌。才能做到一切在掌握之中!
??????? 本文出自張家界SEO博客,http://www.ccgseo.com/ ,轉(zhuǎn)載請(qǐng)保留鏈接。
轉(zhuǎn)載于:https://blog.51cto.com/qingdaosem/909725
總結(jié)
以上是生活随笔為你收集整理的IIS日志作用与分析的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: include *.h 和 declar
- 下一篇: RHEL5 RHEL6 差异 1