本文由作者?達(dá)觀數(shù)據(jù)?于社區(qū)發(fā)布

推薦系統(tǒng)是互聯(lián)網(wǎng)發(fā)展至今最常見也重要的技術(shù)之一。如今各類APP、網(wǎng)站、小程序等所有提供內(nèi)容的地方，背后都有推薦系統(tǒng)在發(fā)揮作用。

開發(fā)好一套真正優(yōu)秀的推薦系統(tǒng)非常有價(jià)值，但也非常艱巨。達(dá)觀數(shù)據(jù)是國內(nèi)推薦系統(tǒng)主要第三方供應(yīng)商，一直在摸索中前進(jìn)。在想辦法開發(fā)出強(qiáng)大的推薦系統(tǒng)服務(wù)好客戶時(shí)，也一直在思考推薦系統(tǒng)的評估方法。眾所周知業(yè)界有一句俗話：“沒有評價(jià)就沒有進(jìn)步”，其意思是如果沒有一套科學(xué)的評價(jià)推薦系統(tǒng)效果的方法，那就找不到優(yōu)化改進(jìn)的方向，打造優(yōu)秀的推薦系統(tǒng)就無從談起。

?

筆者在幾年前寫過《怎樣量化評價(jià)搜索引擎的結(jié)果質(zhì)量》。和搜索引擎相比，移動(dòng)互聯(lián)網(wǎng)時(shí)代的推薦系統(tǒng)應(yīng)用面更廣闊，評價(jià)指標(biāo)也更復(fù)雜。

?

評價(jià)指標(biāo)像一把尺子，指引著我們產(chǎn)品優(yōu)化的方向。到底怎樣才能科學(xué)合理的評價(jià)推薦系統(tǒng)的結(jié)果質(zhì)量？從各類文獻(xiàn)資料和網(wǎng)上文章里能看到數(shù)十種評估公式，讓人眼花繚亂。這些指標(biāo)各自有什么優(yōu)缺點(diǎn)，應(yīng)該怎樣取舍？本文從我們的實(shí)踐經(jīng)驗(yàn)出發(fā)，對此進(jìn)行一些深入的分析，期望對大家有所裨益（達(dá)觀數(shù)據(jù) 陳運(yùn)文）。

?

一、針對不同的推薦場景，一定要因地制宜的選擇合適的評估方法

?

推薦場景是制定評價(jià)指標(biāo)時(shí)最為關(guān)鍵的，脫離了推薦場景來談評測指標(biāo)就像無水之魚。所謂“推薦場景”，與所推薦的內(nèi)容類型、展現(xiàn)方式、推薦所滿足的用戶需求，都有莫大的關(guān)系，而且這種關(guān)系體現(xiàn)的有時(shí)還很微妙。

?

例如同樣都是推薦視頻，但在推薦電影（典型的長視頻）、和推薦短視頻（一般只有幾秒鐘長度），其背后所面對的用戶需求完全不同。前者展示的是電影海報(bào)、名稱、評分、主演和故事梗概，用戶查看這些內(nèi)容的目的是盡快挑選出一部適合觀賞的電影，因此推薦系統(tǒng)強(qiáng)調(diào)的是如何更快更準(zhǔn)的給出優(yōu)質(zhì)結(jié)果。而后者的短視頻推薦（例如常見的抖音快手等）用戶在瀏覽過程中目的性不強(qiáng)，而且因?yàn)闀r(shí)長短，決策成本低，用戶瀏覽目的是為消磨時(shí)間，推薦系統(tǒng)的目的是讓用戶在這個(gè)app上停留的時(shí)間足夠長，粘性足夠大。

?

對前面這個(gè)場景來說，用戶在推薦頁（注意不是在播放頁）停留的時(shí)間越長，滿意度一定是越低的，誰都不愿意傻傻的在一堆電影名稱+海報(bào)的挑選頁面花費(fèi)太多的時(shí)間，如果挑了十幾分鐘還沒能找出一部接下來值得觀看的電影，用戶一定會(huì)對推薦系統(tǒng)的印象大打折扣。但對后者來說，推薦的過程本身就在不斷觀賞短視頻，為了滿足用戶kill time的需求，多樣性、新穎性等更重要。

如果從評估方法的角度來看，推薦電影等長視頻時(shí)更多要看在足夠短的時(shí)間里推出了滿足用戶持續(xù)觀看的電影，而且用戶看后認(rèn)為是“高分好片”、1個(gè)多小時(shí)的觀影時(shí)間花的值得，是最理想的指標(biāo)。而對后者來說，黏住用戶，增加瀏覽時(shí)長，同時(shí)照顧到平臺(tái)上短視頻制作方的曝光和健康生態(tài)，則對推薦系統(tǒng)來說是關(guān)鍵考核因素。

?

用這個(gè)簡單例子我們達(dá)觀想為各位讀者們解釋的是，一定要從產(chǎn)品的場景來深刻理解推薦的作用，才能更好的選擇評估方法，才能讓那些茫茫多的推薦評估公式找到合適的用武之地。

?

二、影響推薦系統(tǒng)評估方式的幾類因素

?

場景的細(xì)微差異，決定著評估方法應(yīng)該有所不同。俗話說“什么樣的場合穿什么樣的衣服”，西裝也好運(yùn)動(dòng)服也好，都有適配的場合。根據(jù)我們對場合細(xì)微差異的理解，有以下幾個(gè)因素在發(fā)揮作用：

?

因素一：推薦展示槽位是固定數(shù)量，還是不斷延展的信息Feed流

?

固定槽位數(shù)量的推薦，更接近搜索引擎或者定向廣告的結(jié)果。因?yàn)檎故緮?shù)量有限，且可能還有先后次序（類似搜索結(jié)果從上到下排列），對推薦結(jié)果的準(zhǔn)確率要求高，這類場景稱為Top-N推薦。此時(shí)推薦結(jié)果前N條結(jié)果的點(diǎn)擊率CTR（Click-Through-Rate）是常見指標(biāo)（點(diǎn)擊/曝光）。

?

如果推薦結(jié)果有明顯的先后順序（如app上從上到下展示結(jié)果），那么往往還可以把位置衰減因素予以考慮，例如NDCG(Normalized Discounted Cumulatie Gain)，MRR(Mean Reciprocal Rank)，或MAP（meanaverage precision）都融入了位置因素）

右側(cè)紅框?yàn)槌Ｒ姷腡op-N推薦結(jié)果

?

常見的展示推薦/廣告

?

還有一類是展示型的推薦，和經(jīng)典的效果廣告非常類似，區(qū)別只在于收費(fèi)方式，如上圖。這種情況下推薦系統(tǒng)可以借用廣告系統(tǒng)的常見評價(jià)方式，例如AUC，ROC等指標(biāo)。

?

而如果是在移動(dòng)APP上常見的Feed流推薦，因?yàn)橥扑]展示槽位數(shù)量很多（甚至可視為無限多），用戶滑屏又可輕易實(shí)現(xiàn)，此時(shí)位置先后因素并沒有特別重要，常用曝光點(diǎn)擊率（點(diǎn)擊量/曝光次數(shù)）來衡量推薦質(zhì)量，此外PV點(diǎn)擊率（點(diǎn)擊量/總PV）、UV點(diǎn)擊率（點(diǎn)擊量/總UV）也是Feed流中常用方法。此時(shí)首屏首條結(jié)果并不像Top-N推薦那么重要，因此評估指標(biāo)也不同。

?

因素二：推薦背后的商業(yè)模式是以電商交易型、還是廣告收益型的

很多推薦系統(tǒng)用于電商平臺(tái)上，目的是更好的促成買賣雙方交易，例如各大電商網(wǎng)站、外賣生活類APP等。推薦最核心目的是促成交易（例如用戶完成商品購買，或者用戶點(diǎn)播觀看某部電影，或用戶開始閱讀某本小說）；此時(shí)推薦帶來的交易筆數(shù)占總交易的比例、或者交易總金額與GMV的比例，就是最直接的評價(jià)指標(biāo)。

?

因?yàn)閺耐扑]激發(fā)購物者興趣，到用戶完成訂單，有漫長的操作鏈條，所以還可以分解動(dòng)作以更好的衡量每個(gè)環(huán)節(jié)的效果。例如加購物車率（通過推薦引導(dǎo)的加購物車數(shù)量/推薦曝光總數(shù)），商品詳情頁閱讀率（通過推薦引導(dǎo)進(jìn)入商品詳情頁數(shù)量/推薦曝光總數(shù)）等。

?

而有一些平臺(tái)是以廣告點(diǎn)擊、曝光等作為主要收入來源的，例如常見的各類新聞資訊類APP，或者短視頻類、免費(fèi)閱讀（漫畫、小說）類APP，廣告作為主要收入來源，那么期望推薦系統(tǒng)能更好的擴(kuò)大用戶在APP上停留的時(shí)間，提高用戶點(diǎn)擊數(shù)等，這些意味著平臺(tái)能獲得更多的廣告收入，因?yàn)闊o論是CPM或CPC計(jì)費(fèi)的廣告形式，用戶越活躍，翻閱次數(shù)越多，平均收益就越高。

?

這種情況下，推薦系統(tǒng)爭取滿足的用戶需求是消磨時(shí)間、或“閑逛”的場景，此時(shí)用戶平均停留時(shí)長、推薦引導(dǎo)下的成功閱讀次數(shù)等，則更符合需求。

?

因素三：推薦評估是離線進(jìn)行，還是在線實(shí)時(shí)完成

?

離線評估和在線評估因?yàn)閿?shù)據(jù)準(zhǔn)備的條件不同，適合采取的手段也不同。離線數(shù)據(jù)采集通常很難做到完全細(xì)致全面的情況下（例如大量用戶的隱式反饋數(shù)據(jù)很難完整記錄，因?yàn)樾阅艽鷥r(jià)太大），離線評估方法會(huì)有所不同。

?

典型的離線評估例如有著名的Netflix Prize競賽、以及KDD Cup、Kaggle上的一些大數(shù)據(jù)算法競賽，這些比賽數(shù)據(jù)集固定，采用靜態(tài)的評估方法，MSE（Mean Absolute Error）平均絕對誤差、RMSE（Root Mean Squared Error）均方根誤差，或者R-Squared（R方）來計(jì)算：

例如在電影、電視劇的推薦中，用戶-物品評分矩陣（User-Item-Rating）就是常用于離線評估，在學(xué)術(shù)界尤其常見。因?yàn)楦咝！W(xué)術(shù)界很難接觸真實(shí)線上環(huán)境，用離線評估是比較方便來評估算法好壞的，也算是學(xué)術(shù)界的無奈吧。

?

但我們都知道用戶真正給產(chǎn)品評分的顯式數(shù)據(jù)（Explicit Feedbacks）是非常稀缺的，有時(shí)我們不得不拍出一些評分映射關(guān)系，例如分享映射為幾分、點(diǎn)贊映射為幾分等，來近似的生成評估矩陣并計(jì)算上述這些靜態(tài)指標(biāo)。

在線實(shí)時(shí)計(jì)算各類推薦效果指標(biāo)

?

而在線評估的好處時(shí)可以隨時(shí)進(jìn)行AB test分流測試，效果好壞一目了然，工程師們很喜歡。其難點(diǎn)有兩個(gè)，第一是線上環(huán)境極為復(fù)雜，會(huì)受到很多其他因素的干擾，未必真正能反映推薦算法效果的好壞。例如一些指標(biāo)很容易受攻擊和作弊。另外一些運(yùn)營活動(dòng)也會(huì)干擾效果。尤其當(dāng)抽取比對的流量占比過小時(shí)，數(shù)據(jù)抖動(dòng)很大，AB test的結(jié)果未必真能體現(xiàn)實(shí)際效果

?

第二個(gè)難點(diǎn)是評估數(shù)據(jù)往往體現(xiàn)的是最終結(jié)果，而不是中間某個(gè)模塊的直接好壞。如果想用AB 測試傳導(dǎo)到內(nèi)部更深層次的算法模塊，往往需要在工程架構(gòu)上做大量開發(fā)，把內(nèi)部參數(shù)傳遞出來才行。例如通過在線評估雖然可以很容易的計(jì)算推薦排序策略（Ranking Strategy）孰優(yōu)孰劣，但如想分析之前的召回策略（Recall Strategy）哪個(gè)更有效，通過在線評估就困難的多。向前的參數(shù)傳導(dǎo)需要在大數(shù)據(jù)工程架構(gòu)上下功夫，這也是達(dá)觀智能推薦一直致力于的。

?

還有個(gè)恐怕是一線算法工程師常常會(huì)遇到的難題，就是離線評估的結(jié)果和在線測試的結(jié)果南轅北轍。離線測下來效果頂呱呱的算法，上線后可能石沉大海一點(diǎn)浪花也看不到。這也恰好證明了正確選擇評估方法是多么重要。

?

因素四：推薦系統(tǒng)當(dāng)前的目標(biāo)是最大化運(yùn)營指標(biāo)，還是考慮生態(tài)平衡和來源多樣性

?

推薦的內(nèi)容如果都來源于平臺(tái)自身，那么往往只需重點(diǎn)考慮平臺(tái)關(guān)鍵運(yùn)營指標(biāo)最大最優(yōu)，例如達(dá)成更多的交易提升GMV，或者讀者的留存率更高，或者提升整個(gè)平臺(tái)用戶的活躍度等就行。

?

但還有一類復(fù)雜的情況，一些平臺(tái)的待推薦內(nèi)容來自各個(gè)UGC或PGC，這些內(nèi)容提供者依賴平臺(tái)的推薦來進(jìn)行內(nèi)容曝光并獲利。在這種情況下，平臺(tái)要從自身生態(tài)平衡、系統(tǒng)長期健康的角度來出發(fā)，需要考慮出讓一些推薦曝光機(jī)會(huì)給到長尾UGC或PGC，以避免出現(xiàn)被少量頂部內(nèi)容渠道綁架導(dǎo)致的“客大欺店”的問題，同時(shí)扶植更多的中小內(nèi)容創(chuàng)作者能讓生態(tài)更健康繁榮。畢竟大樹之下寸草不死一定不是平臺(tái)樂意看到的現(xiàn)象。此時(shí)推薦系統(tǒng)作為最重要的指揮棒，其評價(jià)指標(biāo)中一定需要將內(nèi)容來源覆蓋率（Source Coverage）、多樣性（Novelty）等指標(biāo)。

?

經(jīng)濟(jì)學(xué)中的基尼系數(shù)(Ginicoefficient)，也可以作為輔助的指標(biāo)用來評價(jià)生態(tài)的健康程度。推薦系統(tǒng)的初衷就是消除馬太效應(yīng)，使各種物品都能被展示給某類人群。但研究表明主流的推薦算法（比如協(xié)同過濾）都是具有馬太效應(yīng)的。基尼系數(shù)就是用來評測推薦系統(tǒng)馬太效應(yīng)強(qiáng)弱的。如果Gini1 是從初始用戶行為中計(jì)算出的物品流行度的基尼系數(shù)，Gini2 是從推薦列表中計(jì)算出的物品流行度的基尼系數(shù)，如果 Gini2 > Gini1則說明推薦算法具有馬太效應(yīng)。

?

因素五：推薦結(jié)果要迎合人性，還是引導(dǎo)人性

?

推薦系統(tǒng)本質(zhì)上是讓計(jì)算機(jī)系統(tǒng)通過大規(guī)模數(shù)據(jù)挖掘來“揣摩”人性。但略微深刻一些來說，人性是最為復(fù)雜、矛盾的東西。既有理性的一面，又有感性的一面。

?

推薦系統(tǒng)一味地迎合人性，會(huì)顯得“媚俗”，最終也會(huì)被用戶唾棄。例如人性都有獵奇、貪婪的一面，而且人性通常是沒有耐心的——這也證明了為什么幾秒鐘的短視頻越來越受歡迎，連續(xù)劇為什么要有“倍速”功能，以及標(biāo)題驚悚的短文章總是比內(nèi)容深刻篇幅長的文章在推薦的時(shí)候指標(biāo)更好看。

?

人是從眾的動(dòng)物，內(nèi)心總是關(guān)心同類們在看些什么。大量基于協(xié)同過濾思想的算法，滿足了相關(guān)需求。如果充分迎合，會(huì)發(fā)現(xiàn)大量人群喜歡看的往往是偏低俗、快餐式的內(nèi)容。如果不加干預(yù)，黃賭毒、標(biāo)題黨、危言聳聽、獵奇刺激的內(nèi)容、或者廉價(jià)低劣的商品往往會(huì)充斥在推薦結(jié)果中。

?

但想要引導(dǎo)人性，倡導(dǎo)更有質(zhì)量的內(nèi)容，是推薦系統(tǒng)要肩負(fù)的責(zé)任，這個(gè)時(shí)候的評價(jià)指標(biāo)一定不能只單純看重點(diǎn)擊率、轉(zhuǎn)化率等量化指標(biāo)，因?yàn)槿绻挥眠@些指標(biāo)來優(yōu)化算法，最終結(jié)果一定是低劣內(nèi)容會(huì)充斥著版面，降低整個(gè)平臺(tái)的格調(diào)。

?

在推薦系統(tǒng)評估時(shí)大家往往語焉不詳?shù)摹绑@喜度”（Serendipity）、“新穎性”（Novelty）等，往往就是在人性揣測的方面進(jìn)行探索。這些指標(biāo)計(jì)算時(shí)最大的難點(diǎn)是評價(jià)指標(biāo)偏主觀，很難直接使用在線行為計(jì)算。一般只能用事后問卷或者用戶對內(nèi)容的評價(jià)評分、轉(zhuǎn)發(fā)等行為來間接佐證。或者以7日或者N日留存率等來判斷用戶對推薦結(jié)果整體的滿意度。（達(dá)觀數(shù)據(jù) 陳運(yùn)文）

?

三、實(shí)戰(zhàn)中推薦評估指標(biāo)設(shè)置的常用方法

?

方法一：為不同的細(xì)分人群來設(shè)置不同的評價(jià)指標(biāo)

基于用戶的整體式評估，會(huì)讓推薦算法導(dǎo)向滿足“大多數(shù)人口味”的推薦結(jié)果，但這背離了千人千面的個(gè)性化的初衷。我們期望社群里不同的人都能通過推薦來形成滿意的體驗(yàn)。小眾的人群偏好往往會(huì)淹沒在整體數(shù)據(jù)中，我們一線的算法工程師經(jīng)常有體會(huì)，就是某個(gè)新的推薦算法上線后，看整體指標(biāo)明顯好很多了，但是你的領(lǐng)導(dǎo)/客戶可能來投訴，說感覺推給他的東西感覺沒以前好了。個(gè)體和群體經(jīng)常存在類似的矛盾。某個(gè)推薦算法可能對整體有利，但對其中另一類人未必如此。

?

理想的做法是將其中的人群進(jìn)行細(xì)分，例如電商網(wǎng)站中既有價(jià)格敏感型的大眾用戶，也有追求品質(zhì)的高端用戶。在計(jì)算指標(biāo)時(shí)如果劃分不同人群來計(jì)算，更能體現(xiàn)推薦效果作用后的具體差異。例如我們期望新用戶能迅速完成交易并沉淀下來，那么針對這群人的推薦指標(biāo)，下單率和次日或7日留存就非常重要。而針對高端人群的則有所不同。個(gè)體的差異性和小眾品味要得到更大程度的重視。

?

方法二：按不同的推薦位置來制定不同的指標(biāo)

?

在同一個(gè)推薦APP或產(chǎn)品里，不同位置的推薦需要針對性的設(shè)置推薦評價(jià)指標(biāo)。前文中提到的不同位置、不同場景，推薦指標(biāo)制定規(guī)則可以有所不同。例如首頁首屏的banner推薦（Top-N推薦），信息流Feed推薦，內(nèi)容詳情頁下面的相關(guān)推薦（常用precision-recall或者F1-score）來計(jì)算。還有在搜索無結(jié)果頁、購物車頁面，退出確認(rèn)頁等等，不同的位置一定需要因地制宜的選擇適合的評價(jià)指標(biāo)。

方法三：綜合幾種不同的評估指標(biāo)來獲得整體數(shù)據(jù)指標(biāo)

每個(gè)指標(biāo)都有局限性，推薦系統(tǒng)需要平衡很多因素 ( 商業(yè)、用戶體驗(yàn)、技術(shù)實(shí)現(xiàn)、資金、人力等 ) ，怎么做好平衡是一種哲學(xué)。通常可以把幾個(gè)因素加權(quán)求和來作為整體指標(biāo)。

?

指標(biāo)的選擇和產(chǎn)品主打定位有關(guān)系。例如一個(gè)特別強(qiáng)調(diào)內(nèi)容快速新鮮的APP，那么結(jié)果的時(shí)效性就應(yīng)該占更大的權(quán)重。而一個(gè)強(qiáng)調(diào)格調(diào)品味的APP，單篇閱讀時(shí)長就顯得更可貴。而強(qiáng)調(diào)社群活躍度的平臺(tái)，用戶對內(nèi)容的分享率，互動(dòng)率等，在整體指標(biāo)中要更突出。（達(dá)觀數(shù)據(jù) 陳運(yùn)文）

?

在產(chǎn)品運(yùn)營的不同階段，傾向性不同指標(biāo)的選擇也應(yīng)該有所不同。產(chǎn)品上線前期可能要照顧用戶體驗(yàn)，大力拓展新用戶。當(dāng)用戶量足夠多后，可能會(huì)側(cè)重商業(yè)變現(xiàn) ( 推薦的付費(fèi)視頻，在列表中插入較多廣告等 ) ，想辦法通過推薦讓產(chǎn)品盡快盈利。如果是電商類推薦，要細(xì)致的考慮用戶購買前和購買后的差異，以及標(biāo)品和非標(biāo)品的差異。購買前往往可以多推薦同類產(chǎn)品以更好的讓用戶進(jìn)行比選。當(dāng)購買動(dòng)作完成后，尤其是耐用消費(fèi)品，再繼續(xù)推薦就適得其反了。

各類推薦算法和指標(biāo)的靈活選擇

??

四、推薦指標(biāo)小結(jié)

?

推薦系統(tǒng)本質(zhì)上就是讓每個(gè)消費(fèi)者滿意，這些指標(biāo)只是從不同的角度來衡量“滿意”這件事情的程度高低。在此小結(jié)下常見的指標(biāo)種類，包括如下幾種類型：

?

指標(biāo)類型

場景轉(zhuǎn)化類指標(biāo)：曝光點(diǎn)擊率，PV點(diǎn)擊率，UV點(diǎn)擊率，UV轉(zhuǎn)化率，加購物車率，分享率，收藏率，購買率，人均點(diǎn)擊個(gè)數(shù)，CTR，AUC等

?

推薦內(nèi)容質(zhì)量指標(biāo)：結(jié)果多樣性（Diversity），結(jié)果新穎性（Novelty），結(jié)果時(shí)效性（timeliness），結(jié)果信任度(Confidence& Trust)等

?

內(nèi)容消費(fèi)滿意度指標(biāo)：留存率，停留時(shí)長，播放完成率，平均閱讀時(shí)長，交易量，沉浸度（Engagement），驚喜度(Serendipity)等

在同一個(gè)推薦場景下，指標(biāo)不宜過多，因?yàn)樘嗔瞬焕谧罱K優(yōu)化決策，把握準(zhǔn)每個(gè)場景核心發(fā)揮的作用的幾個(gè)推薦指標(biāo)就行。但也不能只有一個(gè)指標(biāo)，因?yàn)檫^于單一的指標(biāo)會(huì)把推薦算法的優(yōu)化引入歧途。迷信單一的指標(biāo)表現(xiàn)好不能說明產(chǎn)品好，而且物極必反，過度優(yōu)化后的指標(biāo)雖然上去了，但用戶的體驗(yàn)往往會(huì)降低。

很多推薦評價(jià)指標(biāo)本身也是脆弱和易受攻擊的，一些推薦算法如果嚴(yán)重依賴各類反饋指標(biāo)來自動(dòng)優(yōu)化結(jié)果，往往會(huì)被惡意利用，所以既要靈活運(yùn)用推薦評價(jià)指標(biāo)，又不要完全迷信技術(shù)指標(biāo)。因?yàn)橹笜?biāo)背后體現(xiàn)的是用戶的人性。在商業(yè)利益和人性之間拿捏到最佳平衡點(diǎn)，是推薦系統(tǒng)開發(fā)、以及推薦效果評估的至高境界。

?

ABOUT

關(guān)于作者

陳運(yùn)文：達(dá)觀數(shù)據(jù)創(chuàng)始人&CEO，復(fù)旦大學(xué)計(jì)算機(jī)博士，曾擔(dān)任盛大文學(xué)首席數(shù)據(jù)官、騰訊文學(xué)高級(jí)總監(jiān)。在機(jī)器學(xué)習(xí)、自然語言處理、搜索推薦等領(lǐng)域有豐富的研究和工程經(jīng)驗(yàn)。

------正文分割線------

好文推薦：

產(chǎn)品經(jīng)理面試如何做自我介紹

萬字干貨?|?認(rèn)真教新手設(shè)計(jì)一個(gè)頂級(jí)表單定制后臺(tái)PRD

埋點(diǎn)、數(shù)倉到中臺(tái)：數(shù)據(jù)體系的從0到1

點(diǎn)個(gè)“在看”吧

總結(jié)

以上是生活随笔為你收集整理的怎样评价推荐系统的结果质量？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。