/*版權(quán)聲明：可以任意轉(zhuǎn)載，轉(zhuǎn)載時(shí)請(qǐng)務(wù)必標(biāo)明文章原始出處和作者信息 .*/?

搜索引擎anti-spam系統(tǒng)設(shè)計(jì)指南

?

中科院軟件所張俊林

TIMESTAMP:2006年5月20日

?

一.? 設(shè)計(jì)原則與整體體系結(jié)構(gòu)

1.1 設(shè)計(jì)原則

搜索引擎ANTI-SPAM作為一個(gè)新型的技術(shù)領(lǐng)域,目前逐漸引起學(xué)術(shù)屆和搜索引擎市場的逐步重視.通過大量資料分析,我認(rèn)為一個(gè)好的實(shí)用ANTI-SPAM系統(tǒng)應(yīng)該遵循以下兩個(gè)設(shè)計(jì)原則:

原則1.實(shí)用的搜索引擎ANTI-SPAM系統(tǒng)應(yīng)該允許核心算法公布,并且在核心算法公布之后不會(huì)導(dǎo)致現(xiàn)有ANTI-SPAM系統(tǒng)的失效.

原則2.實(shí)用的搜索引擎ANTI-SPAM系統(tǒng)應(yīng)該結(jié)合技術(shù)和非技術(shù)的手段形成一個(gè)綜合防治系統(tǒng).兩者交互影響形成有效的互相促進(jìn)作用.

其中原則1是為了避免提供搜索引擎服務(wù)的公司陷入以下疲于奔命的狀態(tài):核心算法被泄漏,SPAMER找到應(yīng)付對(duì)策,搜索引擎服務(wù)公司更換核心算法,核心算法被泄漏…..

而原則2則是盡可能采取各種可能的手段更全面準(zhǔn)確的判別作弊網(wǎng)頁.

1.2 體系結(jié)構(gòu)

現(xiàn)有的ANTI-SPAM措施可以劃分為以下5個(gè)類別:

類別1:針對(duì)某種具體的作弊方式形成的ANTI-SPAM技術(shù),比如識(shí)別LINK FARM的算法,識(shí)別內(nèi)容作弊的算法等.這些方法的特點(diǎn)是技術(shù)細(xì)節(jié)不可公開性以及由此導(dǎo)致的存在壽命短暫性.因?yàn)檫@些技術(shù)細(xì)節(jié)一旦公布,作弊者會(huì)考慮相應(yīng)的反制策略導(dǎo)致算法失效,這樣會(huì)導(dǎo)致新的作弊方式,而搜索引擎公司不得不研究新的ANTI-SPAM技術(shù).所以根據(jù)設(shè)計(jì)原則1,這樣的算法不能是ANTI-SPAM系統(tǒng)的主體框架,只能是一種輔助措施.

類別2:通用的ANTI-SPAM技術(shù).比如HILLTOP算法,TRUSTRANK算法等.這些方法的特點(diǎn)是技術(shù)細(xì)節(jié)可公開性以及由此導(dǎo)致的長期有效性.即使這些技術(shù)細(xì)節(jié)公布,作弊者也無能為力.所以根據(jù)設(shè)計(jì)原則1,這樣的算法應(yīng)該成為系統(tǒng)的主體框架.

類別3:類BADRANK方法.這類方法和類別2的算法是完全互補(bǔ)的兩類算法.通用的ANTI-SPAM算法的出發(fā)點(diǎn)是尋找網(wǎng)頁集合的子集,這些子集一定不是SPAM網(wǎng)頁,其它網(wǎng)頁根據(jù)與這個(gè)精英頁面集合的關(guān)系來判斷是否不是SPAM頁面,而類BADRANK方法則從必定是SPAM頁面的網(wǎng)頁子集出發(fā)(可以看作是黑名單),從其它網(wǎng)頁和這些黑名單頁面的關(guān)系判斷是否是SPAM頁面.

類別4:人工舉報(bào).這種方法是切實(shí)可行的對(duì)BADRANK方法的補(bǔ)充手段.通過這種方式不斷擴(kuò)大黑名單的數(shù)量.

類別5:類SANDBOX方法.這種方法主要針對(duì)SEO市場,造成對(duì)于SEO市場的打壓,以此避免大規(guī)模的作弊出現(xiàn),因?yàn)槟壳爸饕淖鞅渍哌€是SEO市場造成的.

目前幾乎所有的ANTI-SPAM技術(shù)可以歸于以上5類技術(shù)之一,其中類別123是屬于技術(shù)手段,而類別4和類別5屬于非技術(shù)手段.通過兩者結(jié)合來進(jìn)行有效的ANTI-SPAM系統(tǒng)構(gòu)造.

一個(gè)實(shí)用的ANTI-SPAM系統(tǒng)整體結(jié)構(gòu)可以參考圖1,圖1將這5中技術(shù)手段有機(jī)的結(jié)合來構(gòu)造綜合的治理手段.可以看出系統(tǒng)技術(shù)手段圍繞著兩個(gè)核心互聯(lián)網(wǎng)頁面子集:SPAM POOL和NON-SPAM POOL.SPAM POOL代表了確認(rèn)為是作弊頁面的集合,而NON-SPAM POOL代表了確認(rèn)不是作弊頁面的集合.系統(tǒng)流程如下:

1.??????????????? SPAM POOL可以通過以下三個(gè)手段構(gòu)造:一個(gè)是通過人工舉報(bào)形成黑名單,一個(gè)是通過針對(duì)具體某種作弊方式采取的ANTI-SPAM技術(shù)來獲得部分類型的作弊頁面并加入SPAM POOL中;另外一種方式是通過類BADRANK方式通過疊代計(jì)算來擴(kuò)充黑名單的規(guī)模;這個(gè)過程可能需要進(jìn)行人工確認(rèn)過程以防治誤判.

2.??????????????? NON-SPAM POOL可以通過通用的ANTI-SPAM技術(shù)獲得.

3.??????????????? 類SANDBOX等非技術(shù)手段來打擊SEO市場.

4.???????????????? 可以看出系統(tǒng)中的核心技術(shù)手段是通用ANTI-SPAM方法以及類BADRANK方法,兩者是互補(bǔ)的技術(shù)手段,處于系統(tǒng)的核心,人工舉報(bào)和針對(duì)某種作弊方式的ANTI-SPAM技術(shù)作為類BADRANK技術(shù)的輔助手段發(fā)揮作用,而SANDBOX則作為主要的非技術(shù)手段發(fā)揮作用.通過5種手段相互結(jié)合構(gòu)造實(shí)用的ANTI-SPAM系統(tǒng).可以看出這個(gè)系統(tǒng)模型是符合ANTI-SPAM系統(tǒng)設(shè)計(jì)原則的.

?

?????????????????

圖1. 搜索引擎anti-spam技術(shù)路線圖

?

?

二.? 組成部分詳述

下面分別敘述構(gòu)成ANTI-SPAM系統(tǒng)的5個(gè)部分的技術(shù)細(xì)節(jié).

2.1通用的anti-spam方法

通用的ANTI-SPAM方法作為系統(tǒng)最重要的框架核心,目前的幾種算法基本思想大同小異,其基本目的是確定所有互聯(lián)網(wǎng)頁面中哪些肯定不是SPAM頁面.其基本思路都是如下考慮:

1.???????????????? 首先從所有互聯(lián)網(wǎng)頁面中通過一定的技術(shù)手段找到部分精英頁面子集.

2.??????????????? 然后根據(jù)其它頁面和精英頁面子集的鏈接關(guān)系來確定哪些頁面不是SPAM頁面.

???? 以下列出的三種主流方法基本思路如上所述,其區(qū)別無非在于判斷精英頁面的標(biāo)準(zhǔn)不同以及根據(jù)鏈接關(guān)系確定其它頁面是否SPAM的技術(shù)細(xì)節(jié)不同.

?

2.1.1HILLTOP算法

HILLTOP是從檢索模型本身出發(fā),結(jié)合了相關(guān)排序以及anti-spam策略為一體的算法,已經(jīng)被GOOGLE所采用.其基本假設(shè)和出發(fā)點(diǎn)是:網(wǎng)絡(luò)中的權(quán)威頁面和權(quán)威站點(diǎn)(EXPERT)所指向的頁面一般來說不會(huì)是spam頁面,而且被權(quán)威頁面指向的頁面排序應(yīng)該提高.

所以其算法分解為以下兩個(gè)步驟:

1.????? 如何從大量網(wǎng)頁信息中識(shí)別權(quán)威頁面;

????????? 首先識(shí)別Non-affiliated page,所謂Non-affiliated就是頁面歸屬于不同組織的頁面,因?yàn)榛炯僭O(shè)是歸屬于同一組織的網(wǎng)站頁面之間的鏈接其公信力是不高的.

然后尋找鏈接出度比較高的頁面,如果這些頁面所指向的頁面都是Non-affiliated頁面,那么這些頁面可以作為權(quán)威頁面.

權(quán)威頁面單獨(dú)進(jìn)行索引,對(duì)于用戶查詢,首先在這個(gè)索引里面尋找,然后根據(jù)其它頁面和權(quán)威頁面的關(guān)系進(jìn)行排序.

?

2.????? 根據(jù)選擇的權(quán)威頁面如何對(duì)其指向的頁面排序進(jìn)行評(píng)價(jià);

如果是越多的權(quán)威頁面指向的頁面其權(quán)重越高.

?

?

2.1.2 TrusteRank方法

TrustRank方法的基本思路和HILLTOP算法類似,也是首先識(shí)別部分不可能是作弊網(wǎng)頁的站點(diǎn),然后根據(jù)類似的假設(shè)來從中推導(dǎo)出好的非anti-spam頁面.已經(jīng)被AltaVista(YAHOO)搜索引擎采用.

1.????? 從所有站點(diǎn)隨機(jī)選擇若干站點(diǎn).比如隨機(jī)選擇2000個(gè)站點(diǎn).(也可以有其它類似的優(yōu)化策略,比如選擇知名度高的網(wǎng)站或者YAHOO等收錄的網(wǎng)站作為優(yōu)良網(wǎng)站的基點(diǎn))

2.????? 從2000個(gè)站點(diǎn)里面人工判斷哪些是優(yōu)良的網(wǎng)站

3.????? 鏈接分析.基本假設(shè)是優(yōu)良網(wǎng)站指向的網(wǎng)站也是優(yōu)良的.此時(shí)可以采取不同的策略,比如優(yōu)良網(wǎng)站經(jīng)過K個(gè)鏈接所指向的都認(rèn)為是優(yōu)良的.也可以引入衰減因素,離初始優(yōu)良網(wǎng)站越遠(yuǎn)的網(wǎng)站其優(yōu)良性越小.

4.?????? 對(duì)遍歷過的網(wǎng)站優(yōu)良性能做評(píng)價(jià).此評(píng)價(jià)作為判斷是否作弊網(wǎng)頁的依據(jù).

?

?

2.1.3 SpamRank方法

SpamRank的基本思路與前面兩個(gè)技術(shù)基本一致.它的基本假設(shè)是:對(duì)于非作弊網(wǎng)頁來說,指向其的鏈接頁面一般來說PAGERANK值是不均勻分布的,而對(duì)于作弊網(wǎng)頁來說指向其的支持網(wǎng)頁的PAGERANK值一般來說都是比較小的值.

1.??? 首先計(jì)算頁面的支持頁面的權(quán)重

2.???? 判斷支持頁面權(quán)重是否滿足Power low 分布(這個(gè)分布是互聯(lián)網(wǎng)的一個(gè)比較準(zhǔn)確的估計(jì))對(duì)于不滿足該分布的頁面判斷為作弊網(wǎng)頁進(jìn)行懲罰,降低其PAGERANK值.

?

2.2 類BADRANK方法

???? 類BADRANK方法是通用ANTI-SPAM方法的有效補(bǔ)充. 它的目的是發(fā)現(xiàn)哪些網(wǎng)頁肯定是SPAM頁面. BadRank的技術(shù)思路如下:

1.????? 首先維持一個(gè)SPAM網(wǎng)頁黑名單,這個(gè)黑名單可以通過用戶舉報(bào)或者采取一定的技術(shù)來獲得,GOOGLE提供了舉報(bào)SPAM頁面,所以采用BadRank的方法可能性是很高的.

2.????? 給定黑名單的網(wǎng)頁非常高的BadRank值E(x);

3.????? 考慮其它網(wǎng)頁的BadRank值,打分依據(jù)是如果網(wǎng)頁含有指向黑名單的鏈接,那么這個(gè)網(wǎng)頁的BadRank值會(huì)很高,依次類推來獲得其它頁面的BadRank值.其打分公式如下:

???? 可以看出,其基本原理和PAGERANK是差不多的,區(qū)別在于BADRANK是倒著打分的,從已知的網(wǎng)頁向未知的網(wǎng)頁傳播.

?

2.????? 3具體針對(duì)某種作弊方式采取的anti-spam方法

針對(duì)具體某種作弊方式的ANTI-SPAM方法可以作為輔助BADRANK構(gòu)造SPAM POOL的輔助技術(shù)手段,這些技術(shù)花樣繁多,基本沒有一個(gè)統(tǒng)一的解決方案,目前常見的方法如下.

?

2.3.1 針對(duì)blog站點(diǎn)的honey pot類型的作弊

Honey pot作弊方式是作弊網(wǎng)頁作者發(fā)布有價(jià)值信息比如介紹某項(xiàng)技術(shù)的技術(shù)文章,但是在發(fā)布的信息里面隱含指向作弊頁面的隱藏鏈接,這樣通過網(wǎng)頁本身內(nèi)容的價(jià)值來誘導(dǎo)其它網(wǎng)站增加指向該頁面的鏈接從而間接增加作弊頁面的排名.比如往blog站點(diǎn),BBS站點(diǎn),留言簿或者wiki等可以任意發(fā)言的站點(diǎn)增加評(píng)論.在發(fā)表的評(píng)論里面增加指向目標(biāo)頁面的鏈接,這樣會(huì)間接增加目標(biāo)頁面的pagerank排名.根據(jù)發(fā)表評(píng)論類型可以分為以下兩種:一種是直接發(fā)廣告性質(zhì)的與主題無關(guān)評(píng)論,這個(gè)我們經(jīng)常在BBS或者留言版上看到.一種是評(píng)論與主題相關(guān),但是在評(píng)論中隱藏?zé)o法看到的鏈接信息.這種情況一般比較難以發(fā)現(xiàn).

利用語言模型方法判斷鏈接所指向的頁面是否作弊站點(diǎn).首先通過評(píng)論的內(nèi)容以及評(píng)論中鏈接指向頁面內(nèi)容構(gòu)建每個(gè)評(píng)論的語言模型,然后依次和正文的語言模型進(jìn)行比較,將差異比較大的看作是可能的作弊站點(diǎn).

?

2.3.2針對(duì)內(nèi)容作弊

l? 比如針對(duì)標(biāo)題作弊,如果發(fā)現(xiàn)正文內(nèi)容出現(xiàn)標(biāo)題文字比例失調(diào),比例太高或者沒有出現(xiàn)過,則認(rèn)為可能是作弊網(wǎng)頁.

l????????? 而對(duì)于HTML頁面的keyword內(nèi)作弊詞匯,很多搜索引擎采取不索引keyword域的方法.

?

2.3.3針對(duì)信息隱藏作弊

l? 如果發(fā)現(xiàn)頁面內(nèi)部大量文本采用和背景相同的顏色設(shè)置,則判斷為作弊頁面.

l? 對(duì)于鏈接跳轉(zhuǎn)的頁面進(jìn)行懲罰,以防治通過頁面自動(dòng)重定向來隱藏作弊頁面.

?

2.3.4針對(duì)多個(gè)域名DNS解析到同一IP地址.

作弊者通過建立若干不同的域名但是是同一IP地址來構(gòu)建LINK FARM提高目標(biāo)頁面排名,并欺騙搜索引擎這些鏈接頁面分屬于不同擁有者.對(duì)于這種情況可以進(jìn)行DNS解析分析, 大量不同域名映射到同一IP地址很有可能是作弊網(wǎng)站.

?

2.3.5針對(duì)機(jī)器自動(dòng)生成link farm

??? 對(duì)于機(jī)器自動(dòng)生成的作弊頁面進(jìn)行特征分析和自動(dòng)發(fā)現(xiàn).比如機(jī)器生成的鏈接往往很長,包含很多數(shù)字和連接符號(hào)等.如果發(fā)現(xiàn)一個(gè)頁面的大量鏈接有以上特征則判斷為作弊頁面.

?

2.3.6針對(duì)作弊網(wǎng)頁的不正常數(shù)量聯(lián)入鏈接(文章:Spam, Damn Spam, and Statistics)

發(fā)現(xiàn)網(wǎng)頁的入度,根據(jù)分布規(guī)律,極少數(shù)的網(wǎng)頁有非常大量的聯(lián)入,所以這些大量聯(lián)入頁面如果不是知名網(wǎng)站則很可能是作弊網(wǎng)站

?

2.3.7針對(duì)如何識(shí)別link spam

這個(gè)識(shí)別link farm spam方法的基本觀察是:很多link farm spam的頁面互相通過鏈接緊密聯(lián)系,在farm里面往往存在以下特征頁面:頁面同時(shí)有進(jìn)入和外出鏈接指向link farm其它頁面.所以該方法首先通過一定方法從整個(gè)文檔集合中確定一些種子頁面,再通過其鏈接特征遞歸的發(fā)現(xiàn)滿足作弊鏈接特征的頁面直到link farm無法繼續(xù)擴(kuò)張.此時(shí)對(duì)于這些頁面進(jìn)行懲罰性措施..

2.3.????????? 8程序自動(dòng)生成頁面

頁面內(nèi)容通過隨機(jī)從其它網(wǎng)站頁面抽取拼合而成,而鏈接指向黃色網(wǎng)站.其解決辦法是判別網(wǎng)頁更新速度,這類作弊方式往往有過分快的更新速度,以此作為判別的某個(gè)根據(jù).

2.3.9????????????? TrackBack spam

定義:作弊者增加指向某個(gè)知名blog的trackback鏈接但是在頁面部分沒有任何標(biāo)記.

解決方案:目前還沒有很好的方法.

2.3.10. tag spam

在社會(huì)軟件比如yahoo的myweb2.0或者flickr中流行的作弊方式,作弊方式類似于傳統(tǒng)的KEYWORDS作弊方式,在用戶定義某個(gè)條目的時(shí)候,允許自己增加若干TAG來對(duì)條目進(jìn)行說明,而作弊者通過在TAG中增加很多作弊詞匯來增加排名達(dá)到作弊目的.

解決方案:目前還沒有很好的方法.

2.3.11 fake weblogs

? 定義:兩種方式

?? 方式1. steals content from other sites

作弊者建立blog,拷貝排名比較高的blog內(nèi)容,這樣能夠盡快提高自己blog排名,然后在評(píng)論里面增加指向目標(biāo)頁面的鏈接或者做廣告.

方式2. Porn sites hiding behind blogs

自動(dòng)建立若干blog站點(diǎn),但是用戶點(diǎn)擊會(huì)自動(dòng)轉(zhuǎn)向目標(biāo)站點(diǎn).類似于URL跳轉(zhuǎn)方式.

?

2.4.人工舉報(bào)

? ?目前GOOGLE采用了人工舉報(bào)的方法,其頁面如下:

?http://www.google.com/contact/spamreport.html

Type(s) of problem (check all that apply):
Hidden text or links
Misleading or repeated words
Page does not match Google's description
Cloaked page
Deceptive redirects
Doorway pages
Duplicate site or pages
Other (specify)

?

可以看出,GOOGLE目前所研究的anti-spam應(yīng)該集中在以上幾種spam,這也從某個(gè)角度說明以上幾種是最常用的spam方式.

2.5 SANDBOX方法

長期以來，人們注意到一個(gè)現(xiàn)象，當(dāng)新網(wǎng)站剛被 Google 收錄時(shí)，在用關(guān)鍵詞搜索時(shí)，往往會(huì)有相當(dāng)好的排名。一般認(rèn)為 Google給予新網(wǎng)站一些照顧，使它們有一個(gè)快樂輝煌的開端。然而好景不長，不久，新網(wǎng)站的排名就逐漸下降。很快地，竟可能在搜索時(shí)完全消失了。

?

?? 人們把這個(gè)現(xiàn)象稱之為沙箱效應(yīng)，認(rèn)為是具有普遍性的現(xiàn)象，是 Google在搜索算法里設(shè)置的一個(gè)阻尼過濾器，適用于所有的新網(wǎng)站。當(dāng)新網(wǎng)站上網(wǎng)一段時(shí)間，不論網(wǎng)頁評(píng)級(jí)高低內(nèi)容多寡結(jié)構(gòu)優(yōu)劣有無鏈接，都會(huì)被過濾。短則九十天，多則四五個(gè)月，在搜索結(jié)果里即使還有排名，也多半放在最后。長期以來，這種現(xiàn)象使人大惑不解。因?yàn)榻^大多數(shù)網(wǎng)站是沒有作弊的，沒有理由被處罰。另外，沙箱效應(yīng)只限于Google，其它搜索引擎沒有類似現(xiàn)象。

?

?? 沙箱現(xiàn)象可能是 Google 和層出不窮的作弊手段斗爭的一種策略。面對(duì)防不勝防的詭計(jì)，Google 將新網(wǎng)站屏蔽一段時(shí)間，心里有鬼的優(yōu)化商無法判斷是否被處罰，會(huì)修改網(wǎng)頁。對(duì)于誠實(shí)的網(wǎng)站，這可能是一個(gè)好機(jī)會(huì)，去認(rèn)真檢查優(yōu)化手段，建立健康鏈接，充實(shí)網(wǎng)頁的內(nèi)容。

?? SANDBOX:不能有效的識(shí)別哪些是作弊或者不作弊頁面(其實(shí)就沒有試圖去識(shí)別,這不是SANDBOX的目的),但是可以通過這種行為有效的打壓SEO市場.因?yàn)?/span>SEO市場是導(dǎo)致作弊盛行的主要因素.因?yàn)橛凶鞅滓鈭D而且親自去作弊的人數(shù)還是少數(shù),絕大多數(shù)還是有意圖沒辦法,通過SEO來進(jìn)行的,通過非技術(shù)手段打壓SEO信用是另外一個(gè)治理作弊問題的有效手段,

?

三.? 實(shí)施步驟

具體實(shí)施一個(gè)實(shí)用并且好用的WEB ANTI-SPAM措施可以采取逐步實(shí)施的三步策略,通過初步實(shí)施策略構(gòu)建初步實(shí)用的ANTI-SPAM系統(tǒng),進(jìn)一步的實(shí)施措施用來對(duì)于初步實(shí)施的系統(tǒng)進(jìn)行進(jìn)一步的完善,而第三步則是根據(jù)該研究領(lǐng)域的發(fā)展趨勢進(jìn)行深入的科研以獲得比現(xiàn)有技術(shù)更好的ANTI-SPAM手段.

?

3.1初步實(shí)施措施

?? 初步實(shí)施措施可以根據(jù)圖1,首先實(shí)現(xiàn)以下幾個(gè)部分:

1.??? TRUSTRANK算法(或者HILLTOP)

2.??? BADRANK算法

3.??? SANDBOX算法

4.??? 人工舉報(bào)界面

5.??? 最常見的某種具體SPAM反制措施

?可以看出,無論是HILLTOP或者是TrustRank抑或BADRANK,這種方法并沒有利用作弊者的特征值來進(jìn)行判斷,而是通過通用的方法來進(jìn)行處理:首先識(shí)別優(yōu)良頁面集合或者不良頁面集合,然后通過鏈接分析來計(jì)算這種傳播關(guān)系.這種方法因?yàn)椴焕锰卣鞣治?/span>,所以具有具體方法無關(guān)性,也就是說即使公布這個(gè)方法,作弊者一般也沒有辦法采取反治措施.

而另外一類方法是特征相關(guān)的,比如分析某類SPAM有哪些內(nèi)容特征或者頁面結(jié)構(gòu)特征,利用頁面是否滿足這些特征來進(jìn)行識(shí)別,這樣的方法是對(duì)于某些類型作弊有效的,不具有通用性,另外存在的問題是公布方法后可能這個(gè)算法就失效了,因?yàn)樽鞅渍邥?huì)采取另外的方法避免作弊頁面出現(xiàn)這些特征.

兩者的關(guān)系如下:特征分析的方法可以作為BADRANK的補(bǔ)充和初始集合的獲取手段,利用這些方法找到一些作弊網(wǎng)頁作為BADRANK的初始種子然后逐步擴(kuò)大查找范圍.

所以在設(shè)計(jì)搜索引擎ANTI-SPAM方法時(shí)候應(yīng)該采取如下措施:

整體框架采用TRUSTRANK+BADRANK+SANDBOX

TRUSTRANK:識(shí)別哪些頁面肯定不是作弊頁面;

BADRANK:識(shí)別哪些頁面肯定是作弊頁面;

SANDBOX:不能有效的識(shí)別哪些是作弊或者不作弊頁面,但是可以通過這種行為有效的打壓SEO市場.

? 人工舉報(bào)和具體ANTI-SPAM方法:幫助建立更加全面的SPAM POOL資源.

?

3.2.進(jìn)一步實(shí)施措施

?? 進(jìn)一步的實(shí)施措施集中在如下幾個(gè)方面:

1.????? 具體ANTI-SPAM方法全面實(shí)施,將目前常見的以及不常見的ANTI-SPAM方法逐步實(shí)施,這樣BADRANK可以發(fā)揮更大的作用.

2.????? 通用ANTI-SPAM方法的改進(jìn).通用方法可以在以下兩個(gè)方面進(jìn)行改進(jìn):一個(gè)是如何判斷精英頁面,改進(jìn)的方向是更加自動(dòng)化減少手工勞動(dòng),更加精確化,避免作弊者尋找漏洞.另外一個(gè)改進(jìn)方向是頁面?zhèn)鞑リP(guān)系的研究,探討更好的頁面?zhèn)鞑リP(guān)系來更加有效地確定哪些是SPAM哪些不是SPAM頁面.

3.????? SANDBOX的改進(jìn)方法.目前SANDBOX由于原理泄漏,有可能SEO會(huì)想相應(yīng)的策略避免懲罰,采取二次SANDBOX或者其它改進(jìn)辦法,核心是增加排名的不確定性,避免SEO能夠給用戶確定的承諾(比如半年內(nèi)排到前幾名),以此來打擊SEO市場.

4.????? 在人工舉報(bào)方面.改進(jìn)思路是如何吸引舉報(bào)者來盡可能多地進(jìn)行舉報(bào),可以通過獎(jiǎng)勵(lì)措施比如如果舉報(bào)有效可以部分提高舉報(bào)者的網(wǎng)站排名等獎(jiǎng)勵(lì)措施來增加舉報(bào)者的積極性.

?

?? 3.3 深層研究方向

深層研究方向可以在以上介紹的5個(gè)方面全面實(shí)施,尋找更加優(yōu)秀的替代算法,通過科研投入達(dá)到優(yōu)秀的ANTI-SPAM效果.

從目前學(xué)術(shù)界狀況來看，在未來地最近幾年內(nèi)，在通用ANTI-SPAM方面很難出現(xiàn)全新的理論框架，如果這方面有成果的話，應(yīng)該是提出類似思路的方法或者對(duì)于現(xiàn)有方法細(xì)節(jié)的補(bǔ)充，今后大量的研究工作會(huì)集中在具體的ANTI-SPAM方法方面，尤其是隨著新種類的SPAM方式不斷出現(xiàn)，如何對(duì)于新類型SPAM進(jìn)行發(fā)現(xiàn)和防治將是學(xué)術(shù)界的主流，但是這樣很難從根本上解決問題。

?

四.? 結(jié)論

搜索引擎ANTI-SPAM是目前比較迫切需要解決的問題,本文通過如何構(gòu)造一個(gè)有效的ANTI-SPAM系統(tǒng)這一主題在設(shè)計(jì)原則,系統(tǒng)整體結(jié)構(gòu),每個(gè)技術(shù)的實(shí)施細(xì)節(jié)以及實(shí)施步驟等方面進(jìn)行了探討,希望能夠成為有效設(shè)計(jì)優(yōu)秀ANTI-SPAM系統(tǒng)的技術(shù)指南和路線規(guī)劃說明.

?

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的搜索引擎anti-spam系统设计指南的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。