原文鏈接：http://www.iteye.com/topic/1129553

推薦作者：http://blog.csdn.net/cserchen/article/category/785155

???? 亞馬遜的CEO Jeff Bezos曾經(jīng)說(shuō)過(guò)，他的夢(mèng)想是“如果我有100萬(wàn)個(gè)用戶，我就要為他們做100萬(wàn)個(gè)亞馬遜網(wǎng)站”。智能推薦系統(tǒng)承載的就是這個(gè)夢(mèng)想，即通過(guò)數(shù)據(jù)挖掘技術(shù)，為每一個(gè)用戶實(shí)現(xiàn)個(gè)性化的推薦結(jié)果，讓每個(gè)用戶更便捷的獲取信息。為了實(shí)現(xiàn)這個(gè)夢(mèng)想，過(guò)去十余年間，無(wú)數(shù)頂尖技術(shù)專(zhuān)家和工程師投身于推薦算法和技術(shù)的研究與應(yīng)用中，很多優(yōu)秀的方法被提出，很多技術(shù)難題被攻克。在今天的互聯(lián)網(wǎng)應(yīng)用中，越來(lái)越多“聰明”的推薦系統(tǒng)被開(kāi)發(fā)出來(lái)，并被廣大用戶信賴和使用。(轉(zhuǎn)自《程序員》11期 作者：陳運(yùn)文)

智能推薦系統(tǒng)充分運(yùn)用了機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、搜索引擎、自然語(yǔ)言處理等相關(guān)領(lǐng)域的技術(shù)。但推薦系統(tǒng)并不神秘，事實(shí)上，推薦在我們身邊無(wú)處不在。對(duì)廣大軟件開(kāi)發(fā)工程師們來(lái)說(shuō)，能夠投身于推薦系統(tǒng)的研發(fā)，是一件既有趣又充滿挑戰(zhàn)的工作。想要成功的開(kāi)發(fā)一套效果良好的推薦系統(tǒng)，有一系列值得重視的關(guān)鍵點(diǎn)，文本對(duì)此進(jìn)行了總結(jié)，具體列舉如下。

1 充分運(yùn)用顯式\隱式反饋數(shù)據(jù)


數(shù)據(jù)是一切推薦系統(tǒng)的基礎(chǔ)。良好的推薦效果一定是來(lái)自于豐富而準(zhǔn)確的數(shù)據(jù)。這些數(shù)據(jù)既包括了用戶（user）和待推薦物品（item）相關(guān)的基礎(chǔ)信息（注：item和具體的推薦場(chǎng)景相關(guān)，可以是商品、影片、音樂(lè)、新聞等，如果是進(jìn)行好友推薦，那么item也可以是user本身），另一方面，user和item之間在網(wǎng)站或應(yīng)用中發(fā)生的用戶行為和關(guān)系數(shù)據(jù)也非常重要。因?yàn)檫@些用戶行為和關(guān)系數(shù)據(jù)能真實(shí)的反映每個(gè)用戶的偏好和習(xí)慣。采集這些基礎(chǔ)數(shù)據(jù)，并做好清洗和預(yù)處理，是整個(gè)推薦系統(tǒng)的基石。

用戶行為數(shù)據(jù)，又可細(xì)分為兩部分：顯式反饋數(shù)據(jù)（explicit feedbacks）和隱式反饋（implicit feedbacks）數(shù)據(jù)。顯式反饋是指能明確表達(dá)用戶好惡的行為數(shù)據(jù)，例如用戶對(duì)某商品的購(gòu)買(mǎi)、收-藏、評(píng)分等數(shù)據(jù)。與之相反，隱式反饋數(shù)據(jù)是指無(wú)法直接體現(xiàn)用戶偏好的行為，例如用戶在網(wǎng)站中的點(diǎn)擊、瀏覽、停留、跳轉(zhuǎn)、關(guān)閉等行為。通過(guò)挖掘顯式反饋數(shù)據(jù)能明確把握用戶的偏好，但在很多應(yīng)用中，顯式反饋數(shù)據(jù)通常很稀疏，導(dǎo)致對(duì)用戶偏好的挖掘無(wú)法深入。這個(gè)問(wèn)題在一些剛上線的應(yīng)用、或者偏冷門(mén)的物品或用戶身上反映尤其明顯。在這種情況下，用戶的隱式反饋數(shù)據(jù)就顯得尤為重要。因?yàn)殡m然用戶在網(wǎng)站中的點(diǎn)擊等行為很龐雜，但其中蘊(yùn)藏了大量信息。在2006-2008年間進(jìn)行的國(guó)際著名推薦競(jìng)賽Netflix Prize中，冠軍隊(duì)成員Yehuda Koren發(fā)現(xiàn)將用戶租用影片的記錄，轉(zhuǎn)換為特征向量注入奇異值分解算法（SVD）用于影響用戶興趣向量，能夠很好的提高推薦準(zhǔn)確率。

基礎(chǔ)數(shù)據(jù)的預(yù)處理對(duì)推薦效果的提升也非常有幫助。以2012年的ACM KDD-Cup（國(guó)際數(shù)據(jù)挖掘競(jìng)賽）為例，訓(xùn)練樣本中，負(fù)樣本的數(shù)量居然達(dá)到了總樣本數(shù)量的92.82%，但是通過(guò)仔細(xì)分析這些負(fù)樣本，發(fā)現(xiàn)其中有大量樣本存在噪音，通過(guò)一系列的Session分析和篩選方法，從中保留了11.2%的樣本進(jìn)行后續(xù)推薦挖掘，不僅成功提高了推薦精度，而且大大減少了運(yùn)算量。所以充分利用各類(lèi)顯式和隱式數(shù)據(jù)，并做好數(shù)據(jù)的預(yù)處理，保證輸入數(shù)據(jù)的質(zhì)量，是第一個(gè)關(guān)鍵點(diǎn)。

2 多種方法的融合

經(jīng)過(guò)多年的發(fā)展，很多種推薦算法被提出來(lái)。常見(jiàn)的推薦方法，從大類(lèi)上分，有基于歷史行為（Memory-based）的方法、基于模型（Model-based）的方法、基于內(nèi)容（Content-based）方法等。在Memory-based方法這個(gè)方向，又可進(jìn)一步細(xì)分為基于物品的協(xié)同過(guò)濾算法（item-based collaborative filtering）、基于用戶的協(xié)同過(guò)濾算法（user-based collaborative filtering）、關(guān)聯(lián)規(guī)則（association rule）等；Model-based方法常用的包括Random Walk、pLSA、SVD、SVD++等。每種方法在具體實(shí)施時(shí)，針對(duì)不同的問(wèn)題又有很多不同的實(shí)現(xiàn)方案，例如在基于物品的協(xié)同過(guò)濾算法（item-based collaborative filtering）中，item之間相似度計(jì)算公式（Similarity）也可能有很多很多種變化。

在系統(tǒng)推薦的結(jié)果以外，還有一類(lèi)傳統(tǒng)的方式是通過(guò)專(zhuān)家進(jìn)行推薦。這些專(zhuān)家可以是一些有經(jīng)驗(yàn)的編輯，也可以是社區(qū)中意見(jiàn)領(lǐng)袖等。這些領(lǐng)域?qū)＜彝扑]的結(jié)果，在很多實(shí)際應(yīng)用中，可以作為算法推薦結(jié)果的有益補(bǔ)充。

事實(shí)上，在實(shí)踐中并沒(méi)有任何一種方法在實(shí)踐中始終占據(jù)壓倒性的優(yōu)勢(shì)，它們各有千秋，分別有其各自合適的應(yīng)用場(chǎng)景，因此因地制宜根據(jù)不同的場(chǎng)景，挑選不同的方法，并有機(jī)的結(jié)合起來(lái)，能讓推薦效果得到極大的提升。常見(jiàn)的融合方法包括Restricted Boltzmann Machines（RBM）, Gradient Boosted Decision Trees（GBDT），Logistic Regression（LR）等，這方面歷次推薦競(jìng)賽中有很多相關(guān)文章，可以看到為了提升推薦效果，將不同算法的結(jié)果能夠取長(zhǎng)補(bǔ)短，各自發(fā)揮價(jià)值，是極為有效的。


3 重視時(shí)間因素

用戶的行為是存在很強(qiáng)的時(shí)間規(guī)律的。例如通常人們中午會(huì)吃飯、周末會(huì)休假、過(guò)年會(huì)回家團(tuán)圓等等。用戶在各個(gè)應(yīng)用中的行為也同樣有規(guī)律可以挖掘，用好時(shí)間這個(gè)特征，在很多推薦場(chǎng)景下，會(huì)對(duì)推薦效果的提升有很大的幫助。

用戶行為日志中，行為發(fā)生的時(shí)間戳（timestamp）通常都會(huì)被記錄。這個(gè)時(shí)間戳能從user和item兩方面來(lái)進(jìn)行分析。從user的角度來(lái)看：user的興趣往往會(huì)隨著時(shí)間不斷變化，幾年前的興趣和當(dāng)前的興趣可能是不同的；另一方面，user的行為也存在一定的規(guī)律，例如工作日的行為是類(lèi)似的，而在周末里user的行為也會(huì)變化，甚至在同一天中，上午和晚上的user行為和偏好也會(huì)有各種不同的規(guī)律。

從item的角度來(lái)看，流行度隨著時(shí)間會(huì)有規(guī)律性的波動(dòng)，通過(guò)持續(xù)挖掘user與item之間的行為在一段時(shí)間內(nèi)的記錄，往往能夠發(fā)掘出這種規(guī)律，并進(jìn)而用于指導(dǎo)我們預(yù)測(cè)user在后續(xù)某個(gè)時(shí)刻的行為，提高推薦的準(zhǔn)確率。

時(shí)間因素的一些常見(jiàn)處理方案包括：1）在協(xié)同過(guò)濾計(jì)算user或者item相似度的公式中，增加時(shí)間因子，發(fā)揮相近時(shí)間的作用；2）將時(shí)間離散映射到自然月、周、日、小時(shí)等時(shí)間片中，并分別進(jìn)行統(tǒng)計(jì)計(jì)算，并進(jìn)而將累積的數(shù)據(jù)用于特定的回歸模型（Regression models）中，指導(dǎo)結(jié)果預(yù)測(cè)；3）將時(shí)間作為線性連續(xù)變量，用于訓(xùn)練模型參數(shù)等。


4 特定推薦場(chǎng)景使用地域特征

有一些推薦場(chǎng)景是和用戶所處地域密切相關(guān)的，尤其對(duì)一些LBS、O2O的應(yīng)用來(lái)說(shuō)，一旦離開(kāi)地域這個(gè)特征，那么智能推薦的效果根本就無(wú)從談起。例如當(dāng)需要推薦一個(gè)餐館時(shí)，如果不考慮用戶當(dāng)前所在的位置，那么即使某餐館和當(dāng)前用戶的口味匹配度非常高，但遠(yuǎn)在天邊，這個(gè)推薦也是毫無(wú)價(jià)值的。

目前推薦系統(tǒng)在地域特征的使用還停留在較為原始的狀態(tài)，通常需要讓用戶手工篩選推薦結(jié)果所在的區(qū)域（如省、市、區(qū)、縣等），或者指定若干半徑范圍內(nèi)的結(jié)果。這種方式不僅操作繁瑣，而且缺乏對(duì)地域信息的細(xì)致分析。例如地點(diǎn)A和B的地圖直線距離雖然較遠(yuǎn)，但兩點(diǎn)間有地鐵直接往返，而另一地點(diǎn)C雖然地圖直線距離A很近，但兩點(diǎn)間需要繞行交通不便。另外從用戶角度來(lái)說(shuō)，每天活動(dòng)的地域總是存在規(guī)律的，例如工作日白天，往往活動(dòng)區(qū)域在工作地點(diǎn)附近，夜晚的時(shí)間會(huì)在家附近等。

在基于地理位置信息的應(yīng)用中，需要更聰明的挖掘用戶對(duì)地域的偏好（而且這種偏好往往和時(shí)間緊密聯(lián)系），例如在基于用戶的協(xié)同過(guò)濾中，將類(lèi)似地域用戶活躍用戶的行為，作為推薦的依據(jù)，即認(rèn)為活動(dòng)地域相似的用戶，可能存在一定相同的偏好?；蛘呤褂没谖锲返膮f(xié)同過(guò)濾思想，在計(jì)算item之間相似度時(shí)引入地域特征。在Latent Factor Model中，將用戶的活動(dòng)地域作為隱式反饋來(lái)作用于用戶特征向量等，都是可行的方案。

手機(jī)是進(jìn)行基于地域信息推薦的最好載體，隨著移動(dòng)互聯(lián)網(wǎng)應(yīng)用越來(lái)越普及，期待未來(lái)有更多基于地域信息的推薦產(chǎn)品的問(wèn)世。

5 SNS關(guān)系的使用

社交網(wǎng)絡(luò)近年來(lái)得到了突飛猛進(jìn)的發(fā)展，用戶不再是單純的內(nèi)容接收者，而是能夠主動(dòng)的建立用戶之間的關(guān)系。這些關(guān)系，可以劃分為顯式關(guān)系（explicit relations）和隱式關(guān)系（implicit relations）。顯式關(guān)系指的是用戶已明確建立的相關(guān)關(guān)系，例如在微博中關(guān)注/被關(guān)注某人等，或者在社區(qū)中加為好友等。而隱式關(guān)系指用戶之間存在一些互動(dòng)行為，但這些行為不能明確指示用戶間的關(guān)系。例如用戶在微博中點(diǎn)擊、評(píng)論、轉(zhuǎn)發(fā)另一個(gè)用戶的帖子，如果在網(wǎng)絡(luò)游戲世界中另一個(gè)玩家交談，或者PK等。隱式關(guān)系雖然并不如顯式關(guān)系那樣明確，但比顯式關(guān)系要豐富的多。所以在一些對(duì)推薦精度要求很高的應(yīng)用場(chǎng)景下，顯式關(guān)系需要發(fā)揮主要作用；而對(duì)一些需要提高推薦召回率和推薦結(jié)果多樣性的場(chǎng)景下，尤其是當(dāng)顯式關(guān)系面臨數(shù)據(jù)稀疏性的問(wèn)題時(shí)（注：這個(gè)問(wèn)題在推薦應(yīng)用中普遍存在），充分利用隱式關(guān)系能起到非常好的效果。以今年的KDD-Cup競(jìng)賽為例，在騰訊微博的好友推薦系統(tǒng)上，我們通過(guò)在SVD++模型中增加隱式關(guān)系，處理數(shù)據(jù)稀疏性的問(wèn)題，能夠?qū)⑼扑]準(zhǔn)確率提升5.5%

此外，移動(dòng)互聯(lián)網(wǎng)的普及，讓SNS關(guān)系使用起來(lái)更加便捷，而且加上地域信息，產(chǎn)生了像微信這樣新穎的移動(dòng)應(yīng)用，而SNS關(guān)系和地域特征的結(jié)合使用，一定會(huì)讓推薦系統(tǒng)也產(chǎn)生出更受歡迎的結(jié)果。


6 緩解冷啟動(dòng)問(wèn)題

冷啟動(dòng)是推薦系統(tǒng)最為悠久的一個(gè)問(wèn)題，伴隨推薦系統(tǒng)誕生至今。這是因?yàn)橥扑]系統(tǒng)效果提升的關(guān)鍵天然在于數(shù)據(jù)，而當(dāng)新用戶、或新物品等剛上線時(shí)，由于積累的數(shù)據(jù)極為稀少，大量方法在最初這段時(shí)間難以生效。

冷啟動(dòng)問(wèn)題又可細(xì)分為user冷啟動(dòng)或者item的冷啟動(dòng)。user冷啟動(dòng)在一些場(chǎng)景普遍存在，例如在一些短視頻網(wǎng)站，由于user沒(méi)有登錄瀏覽的習(xí)慣，因此大量來(lái)訪用戶都是陌生的cookie用戶，如何對(duì)這些user進(jìn)行推薦是至關(guān)重要的。常見(jiàn)的思路包括：1）采用熱門(mén)推薦（排行榜）結(jié)果。雖然排行榜是一個(gè)看似簡(jiǎn)單的方法，但設(shè)計(jì)良好、的排行榜并不如想象中簡(jiǎn)單，排行榜如何計(jì)算，基于哪些統(tǒng)計(jì)特征，都是值得深究的。2）充分利用有限的用戶信息來(lái)迅速捕捉偏好。例如用戶的來(lái)源ip、訪問(wèn)時(shí)間、最初點(diǎn)擊的幾個(gè)結(jié)果的屬性，都需要被充分運(yùn)用。3）為新用戶設(shè)置簡(jiǎn)單的口味測(cè)試，根據(jù)用戶提交的答案主動(dòng)收集用戶偏好。常見(jiàn)的方案包括為提供一些預(yù)先精心設(shè)計(jì)的選項(xiàng)，通過(guò)用戶的選擇迅速建立用戶模型。在設(shè)計(jì)選項(xiàng)時(shí)，一些注意點(diǎn)包括：A）必須要有代表性的選項(xiàng)；B）選項(xiàng)需要相對(duì)熱門(mén)，或有一定的用戶知名度；C）選項(xiàng)之間要有區(qū)分度。

item冷啟動(dòng)的問(wèn)題在一些item頻繁更新的應(yīng)用中普遍存在，例如一些電子商務(wù)網(wǎng)站會(huì)不斷上架新商品，這些新商品由于缺少點(diǎn)擊，很難進(jìn)行推薦。但基于內(nèi)容的方法（content-based）往往此時(shí)能發(fā)揮關(guān)鍵作用。根據(jù)item的類(lèi)別、標(biāo)簽、關(guān)鍵詞等初始特征，能計(jì)算item之間的關(guān)聯(lián)度。盡管很多對(duì)比評(píng)測(cè)表明，基于內(nèi)容的推薦算法往往推薦精度不夠高，但這種方法在處理item冷啟動(dòng)時(shí)有先天的優(yōu)勢(shì)，所以在工程實(shí)踐中可以注意使用。


7 推薦結(jié)果的展現(xiàn)方式

推薦系統(tǒng)絕不僅僅局限于推薦算法和架構(gòu)，而是一個(gè)完整的系統(tǒng)。其中推薦結(jié)果的展現(xiàn)方案是這個(gè)系統(tǒng)中極為重要的一環(huán)，開(kāi)發(fā)一個(gè)推薦系統(tǒng)時(shí)，這個(gè)環(huán)節(jié)往往被工程師們忽略，但推薦結(jié)果最終呈現(xiàn)給用戶的位置、提供哪些信息，往往起到舉足輕重的作用。

這里需要注意的關(guān)鍵點(diǎn)包括：1）不同item的推薦，由于用戶關(guān)注點(diǎn)不同，展現(xiàn)的方案也需要不同，要盡量凸顯出用戶的關(guān)注重點(diǎn)。例如推薦一個(gè)服飾時(shí)，縮略圖對(duì)用戶的點(diǎn)擊意愿起到極為重要的作用；而推薦服務(wù)類(lèi)商品時(shí)（例如旅游線路），天數(shù)、價(jià)格、是否優(yōu)惠等信息，才是用戶關(guān)注的重點(diǎn)；2）推薦展示的場(chǎng)景和位置，需要符合用戶的行為習(xí)慣。求職社交網(wǎng)站LinkedIn的對(duì)比實(shí)驗(yàn)表明，在用戶申請(qǐng)完一個(gè)工作的之前或之后分別展示推薦結(jié)果，前者的點(diǎn)擊率是后者的10倍。在網(wǎng)頁(yè)正中或右側(cè)邊欄放置推薦結(jié)果，點(diǎn)擊率也相差5倍之多。

在展現(xiàn)方式中，另一個(gè)極為重要的方面是提供推薦理由。因?yàn)橥ㄟ^(guò)展現(xiàn)推薦理由，能夠贏得用戶的信任，進(jìn)而讓用戶更容易接受推薦給他的結(jié)果。例如直接為A用戶給出一個(gè)猜她喜歡的視頻V，可能很難信任。但如果同時(shí)給出推薦理由：“和你口味相似的B和C都收-藏了該視頻”，那么能很好的提升用戶的信任感。另外，推薦理由本身也是對(duì)推薦結(jié)果的一個(gè)良好的補(bǔ)充描述。例如推薦一本小說(shuō)，按傳統(tǒng)方案只提供小說(shuō)名稱(chēng)、封面，讀者很難獲取足夠的信息，但如果提供推薦理由：“本周銷(xiāo)售量最多”或者“起點(diǎn)白金作家XXX最新作品”，對(duì)提升推薦成功率有很大的幫助。

合適的推薦結(jié)果的展示方案，需要技術(shù)、產(chǎn)品、UI、UED等充分結(jié)合，對(duì)用戶需求和用戶心里有細(xì)致入微的把握，往往能起到事半功倍的效果。


8 明確優(yōu)化目標(biāo)和評(píng)估手段

開(kāi)發(fā)一個(gè)初步可用的推薦系統(tǒng)并不難，難的是如何在原有推薦效果的基礎(chǔ)上精益求精，更進(jìn)一步。優(yōu)化目標(biāo)和評(píng)估手段的確定是解決這個(gè)問(wèn)題的關(guān)鍵所在。首先需要確定系統(tǒng)的優(yōu)化目標(biāo)。例如有些推薦系統(tǒng)追求推薦結(jié)果的點(diǎn)擊率；有些則還考慮點(diǎn)擊后的實(shí)際轉(zhuǎn)化或成交效果；有些推薦場(chǎng)景更關(guān)注推薦結(jié)果的新穎性，即希望更多的將本站新收錄的物品展現(xiàn)給用戶；另一些則更重視結(jié)果的多樣性。

在推薦系統(tǒng)的目標(biāo)明確后，隨之而來(lái)的問(wèn)題是，如何量化的評(píng)價(jià)這些推薦目標(biāo)？傳統(tǒng)的評(píng)分預(yù)測(cè)問(wèn)題通常使用均方根誤差（RMSE）或者平均絕對(duì)誤差（MAE）等計(jì)算方法。但在實(shí)際應(yīng)用中Top-N推薦更為常見(jiàn)，這種場(chǎng)景下NDCG(Normalized Discounted Cumulative Gain)或MAP（Mean Average Precision）是普遍使用的衡量方法。

由于推薦系統(tǒng)經(jīng)常借鑒相關(guān)領(lǐng)域的一些技術(shù)，如廣告學(xué)或搜索系統(tǒng)，因此計(jì)算廣告學(xué)中的pCTR或者搜索系統(tǒng)的Precision-Recall曲線等也經(jīng)常用于評(píng)估推薦效果的優(yōu)劣。有些系統(tǒng)甚至直接將推薦系統(tǒng)轉(zhuǎn)化為一個(gè)機(jī)器學(xué)習(xí)問(wèn)題，評(píng)估手段也隨之轉(zhuǎn)化為對(duì)應(yīng)問(wèn)題的方法。

實(shí)際系統(tǒng)中，往往是多個(gè)指標(biāo)（點(diǎn)擊率、準(zhǔn)確率、覆蓋率、多樣性、新穎性等）共同作用，并且按照產(chǎn)品的實(shí)際需求，加權(quán)折衷后進(jìn)行結(jié)果評(píng)測(cè)。測(cè)試方法也有線上A/B Testing以及人工評(píng)測(cè)等。無(wú)論采用何種方法，一個(gè)成熟的推薦系統(tǒng)一定要建立在明確的優(yōu)化目標(biāo)和評(píng)測(cè)系統(tǒng)之上，它們像一把尺子，丈量著推薦系統(tǒng)每次前進(jìn)的腳步。


9 時(shí)效性問(wèn)題

正所謂“天下武功，唯快不破”，推薦系統(tǒng)要能及時(shí)捕捉用戶需求的變化，反饋到模型中，并及時(shí)響應(yīng)用戶請(qǐng)求，實(shí)時(shí)提供在線服務(wù)。因?yàn)橛脩羰翘籼薜?、也是缺乏耐心?#xff0c;新用戶尤其如此，如果一個(gè)推薦系統(tǒng)無(wú)法在較短的時(shí)間內(nèi)調(diào)整結(jié)果以迎合用戶，那么用戶會(huì)迅速流失。

推薦系統(tǒng)的時(shí)效性首先體現(xiàn)在能靈敏捕捉用戶反饋，這些反饋既包括正反饋（用戶喜愛(ài)），也需要收集負(fù)反饋（用戶不感興趣的）。很多推薦系統(tǒng)往往忽略了負(fù)反饋樣本的收集，而事實(shí)上，有效的收集用戶的正負(fù)反饋，并進(jìn)行對(duì)比訓(xùn)練，能夠更全面準(zhǔn)確的掌握用戶偏好。

在用戶反饋收集的基礎(chǔ)上，還需要能夠及時(shí)更新后臺(tái)的推薦模型。很多推薦系統(tǒng)后端的用戶模型和物品模型，都需要通過(guò)大量用戶日志來(lái)進(jìn)行挖掘運(yùn)算，計(jì)算開(kāi)銷(xiāo)大，所以一個(gè)設(shè)計(jì)良好的推薦系統(tǒng)，需要將離線挖掘和在線服務(wù)系統(tǒng)進(jìn)行有機(jī)的結(jié)合。離線系統(tǒng)可以設(shè)計(jì)得比較“厚”，即算法復(fù)雜，模型龐大，更新緩慢。而在線系統(tǒng)則傾向于設(shè)計(jì)得輕巧靈活，能及時(shí)將捕獲的正負(fù)反饋信息傳遞進(jìn)來(lái)，修改在線模型，捕獲用戶短期興趣變化，從而快速修正推薦結(jié)果。


10 大數(shù)據(jù)挖掘和性能優(yōu)化

大數(shù)據(jù)挖掘是近年來(lái)的研究熱點(diǎn)，得益于分布式計(jì)算技術(shù)的廣泛使用，系統(tǒng)吞吐的數(shù)據(jù)規(guī)模越來(lái)越大，離線數(shù)據(jù)挖掘的能力也越來(lái)越強(qiáng)，處理大量用戶行為數(shù)據(jù)變得越來(lái)越便捷。但在推薦挖掘中，系統(tǒng)能夠提供的運(yùn)算能力和實(shí)際的運(yùn)算需求之間，始終存在矛盾，所以如果有效合理的分配運(yùn)算資源十分重要。這里需要在挖掘深度上進(jìn)行合理的分配。對(duì)重點(diǎn)的用戶或者item，可以分配更多的資源，進(jìn)行更深入的挖掘。對(duì)基礎(chǔ)數(shù)據(jù)也是如此，高質(zhì)量的數(shù)據(jù)可以用于更詳細(xì)的分析，而低價(jià)值的數(shù)據(jù)可能只需要簡(jiǎn)化處理流程。

后端的離線系統(tǒng)往往還需要定期更新模型，這里模型的全量或增量更新方式也是一個(gè)值得關(guān)注的點(diǎn)。以用戶模型為例，并非所有用戶的個(gè)性化模型都需要頻繁更新，活躍的、高貢獻(xiàn)值的用戶，應(yīng)該需要更頻繁的予以更新。對(duì)item也類(lèi)似，熱門(mén)item和冷門(mén)item更新技術(shù)的周期可以不同。

在大數(shù)據(jù)推薦系統(tǒng)的性能優(yōu)化方面，還有一些常用的技巧，例如倒排索引的使用，cache機(jī)制的充分運(yùn)用等。

總結(jié)

智能推薦系統(tǒng)是一個(gè)系統(tǒng)工程，依賴數(shù)據(jù)、架構(gòu)、算法、人機(jī)交互等環(huán)節(jié)的有機(jī)結(jié)合，形成合力。本文列舉的十個(gè)關(guān)鍵點(diǎn)，是作者在開(kāi)發(fā)推薦系統(tǒng)中積累的一些經(jīng)驗(yàn)與心得，希望能拋磚引玉，與大家共同探討。我們開(kāi)發(fā)推薦系統(tǒng)的目標(biāo)，是通過(guò)個(gè)性化數(shù)據(jù)挖掘技術(shù)，將“千人一面”變?yōu)椤扒饲妗?#xff0c;因?yàn)榇笄澜?、蕓蕓眾生，原本就是多姿多彩的，希望智能推薦系統(tǒng)能讓這個(gè)世界變得更人性化、更豐富、更美好。

總結(jié)

以上是生活随笔為你收集整理的推荐系统的十个关键点的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。