推荐算法炼丹笔记：如何让你的推荐系统具有可解释性？
作者：一元， 公眾號(hào)：煉丹筆記
可解釋性和有效性是構(gòu)建推薦系統(tǒng)的兩大關(guān)鍵成份,之前的工作主要關(guān)注通過(guò)引入輔助信息來(lái)獲得更好的推薦效果。但這些方法會(huì)存在下面的兩個(gè)問(wèn)題：
- 基于神經(jīng)網(wǎng)絡(luò)的embedding方法很難解釋和debug;
- 基于圖的方法需要人工以及領(lǐng)域知識(shí)來(lái)定義模式和規(guī)則，并且會(huì)忽略商品的相關(guān)類型;(可替代并且互補(bǔ))
本文提出了一種新的聯(lián)合學(xué)習(xí)框架，我們將知識(shí)圖中可解釋規(guī)則的歸納與規(guī)則引導(dǎo)的神經(jīng)推薦模型的構(gòu)建相結(jié)合;該框架鼓勵(lì)兩個(gè)模塊可以互相補(bǔ)并生成有效的可解釋的推薦。
- 歸納規(guī)則：從商品為中心的知識(shí)圖譜中挖掘, 總結(jié)出用于推斷不同商品關(guān)聯(lián)的常見(jiàn)多跳關(guān)系模式，并為模型預(yù)測(cè)提供人類可理解的解釋;
- 通過(guò)引入規(guī)則對(duì)推薦模塊進(jìn)行擴(kuò)充，使其在處理冷啟動(dòng)問(wèn)題時(shí)具有更好的泛化能力;
所以本文是希望通過(guò)聯(lián)合訓(xùn)練推薦和知識(shí)圖譜來(lái)給出既準(zhǔn)確又可解釋的推薦。
背景知識(shí)
問(wèn)題定義
1. 商品推薦(Item Recommendation)
給定用戶U和商品I, 商品的推薦任務(wù)就是基于用戶和商品的歷史交互找出最適合每個(gè)用戶的商品;用戶會(huì)通過(guò)購(gòu)買或者對(duì)某個(gè)商品打分的形式表述他的喜好, 這些交互可以通過(guò)矩陣進(jìn)行表示，最具代表的方法就是：將用戶和商品embed到低維度的潛在空間中，然后使用用戶-商品交互的結(jié)果來(lái)進(jìn)行推薦。
2. 知識(shí)圖譜(Knowledge graph)
知識(shí)圖譜是由實(shí)體(節(jié)點(diǎn))和關(guān)系(邊)構(gòu)成的多關(guān)系圖,我們可以使用多個(gè)三元組(頭部實(shí)體E1, 關(guān)系類型r1, 尾部實(shí)體E2)來(lái)表示知識(shí)圖譜的事實(shí)。
3. 知識(shí)圖的歸納規(guī)則
知識(shí)圖譜中兩個(gè)實(shí)體之間可能有許多路徑，一條路徑由關(guān)系類型構(gòu)成(例如P(k)=E1r1E2r2E3就是兩個(gè)實(shí)體E1和的E2路徑);規(guī)則由兩個(gè)實(shí)體的關(guān)系序列定義,例如,路徑和規(guī)則的區(qū)別在于規(guī)則更多關(guān)注關(guān)系類型而不是實(shí)體。
4. 問(wèn)題定義
給定用戶U,商品I,用戶和商品的交互,商品關(guān)聯(lián)以及知識(shí)圖譜,我們的聯(lián)合訓(xùn)練框架目的在于:
- 基于商品的關(guān)系學(xué)習(xí)商品之間的規(guī)則;
- 學(xué)習(xí)推薦系統(tǒng)推薦對(duì)每個(gè)用戶基于規(guī)則R以及他的交互歷史Iu推薦商品;
該框架輸出一套規(guī)則R 以及推薦商品的列表I'.
推薦基礎(chǔ)模型
此處介紹兩種基礎(chǔ)的模型。
1. BPRMF:貝葉斯個(gè)性化排序矩陣分解
2. NCF(Neural Collaborative Filtering):神經(jīng)網(wǎng)絡(luò)協(xié)同過(guò)濾
RULEREC框架
帶有rule learning的推薦主要由下面兩個(gè)子任務(wù)組成:(1). 基于商品的關(guān)系從知識(shí)圖譜中進(jìn)行規(guī)則學(xué)習(xí); (2). 對(duì)每個(gè)用戶基于他的購(gòu)買歷史和得到的規(guī)則推薦商品;我們將其建模為多任務(wù)學(xué)習(xí)，于是我們有：
異構(gòu)圖構(gòu)建
我們構(gòu)建異對(duì)于推薦和知識(shí)圖譜的商品的異構(gòu)圖，具體如下：
規(guī)則學(xué)習(xí)模塊
規(guī)則學(xué)習(xí)模塊的目的是在異構(gòu)圖中找到與給定項(xiàng)目關(guān)聯(lián)A相關(guān)聯(lián)的可靠規(guī)則集。
1. 規(guī)則學(xué)習(xí)
2. 規(guī)則選擇
Item推薦模塊
多任務(wù)學(xué)習(xí)
此處我們采用多任務(wù)目標(biāo)函數(shù)進(jìn)行優(yōu)化：
模型效果
- 在加權(quán)的訓(xùn)練中結(jié)合推薦損失和規(guī)則選擇損失可以提高推薦效果;
- 從知識(shí)圖譜中抽取得到的規(guī)則對(duì)于商品對(duì)的特征向量學(xué)習(xí)是非常有價(jià)值的，學(xué)習(xí)得到的向量可以加強(qiáng)多個(gè)基本的推薦模型;
- 多任務(wù)學(xué)習(xí)的方式對(duì)于推薦和規(guī)則選擇比規(guī)則加權(quán)學(xué)習(xí)貢獻(xiàn)更多;因?yàn)樘岢隹蚣艿撵`活性,提出的規(guī)則能夠和其它推薦算法結(jié)合進(jìn)一步提升模型的效果.
案例研究&效果比較
- 提出的模型比HERec好，但比RippleNet差。
- 多任務(wù)學(xué)習(xí)方法在所有指標(biāo)上都取得了最好的性能，并且改進(jìn)效果顯著，這表明多任務(wù)學(xué)習(xí)在規(guī)則權(quán)重學(xué)習(xí)中非常有助于獲得更好的推薦結(jié)果。
- 由于硬過(guò)濾方法可能同時(shí)忽略負(fù)項(xiàng)目和正項(xiàng)目（從表3中，我們可以看到，有時(shí)正項(xiàng)目和項(xiàng)目采購(gòu)歷史之間沒(méi)有規(guī)則）。
- 雖然選擇權(quán)重有助于推薦（更好同樣的重量），它仍然比一起學(xué)習(xí)模式更糟糕。
- 對(duì)于由四個(gè)關(guān)聯(lián)中的任何一個(gè)導(dǎo)出的規(guī)則，使用BPRMF的RuleRec_{multi}明顯優(yōu)于BPRMF算法。
- 使用不同的關(guān)聯(lián)可以得到相似的結(jié)果，但它們對(duì)于挖掘項(xiàng)目關(guān)系以提高推薦結(jié)果都是有價(jià)值的。
- 在推薦中當(dāng)我們使用更多規(guī)則的時(shí)候,整體效果沒(méi)有變得更好;(可能隨著規(guī)則的個(gè)數(shù)增加,很多不好的規(guī)則也被帶入到模型中)；
- 由于在多任務(wù)學(xué)習(xí)算法中考慮了規(guī)則的選擇，我們發(fā)現(xiàn)規(guī)則集的性能與隨著規(guī)則數(shù)的增加，BPRMF算法表現(xiàn)出更好的性能;
- 使用BPRMF的的性能明顯優(yōu)于和BPRMF（對(duì)不同規(guī)則計(jì)數(shù)的實(shí)驗(yàn)結(jié)果進(jìn)行配對(duì)雙樣本t檢驗(yàn)）的性能。p<0.01）。結(jié)果表明，基于多任務(wù)學(xué)習(xí)的算法能夠處理大量的規(guī)則，即使存在一些無(wú)用的規(guī)則;
小結(jié)
本文提出了一種新的、有效的聯(lián)合優(yōu)化框架，用于從包含商品的知識(shí)圖中歸納出規(guī)則，并基于歸納出的規(guī)則進(jìn)行推薦。該框架由兩個(gè)模塊組成：規(guī)則學(xué)習(xí)模塊和推薦模塊。規(guī)則學(xué)習(xí)模塊能夠在具有不同類型商品關(guān)聯(lián)的知識(shí)圖中導(dǎo)出有用的規(guī)則，推薦模塊將這些規(guī)則引入到推薦模型中以獲得更好的性能。此外，有兩種方法來(lái)實(shí)現(xiàn)這個(gè)框架：兩步學(xué)習(xí)和聯(lián)合學(xué)習(xí)。
本文研究使用大型知識(shí)圖Freebase進(jìn)行規(guī)則學(xué)習(xí)。該框架能夠靈活地支持不同的推薦算法。我們修改了兩種推薦算法，一種是經(jīng)典的矩陣分解算法（BPRMF）和一種基于神經(jīng)網(wǎng)絡(luò)的推薦算法（NCF）。所提出的四種規(guī)則增強(qiáng)推薦算法在多個(gè)領(lǐng)域都取得了顯著的效果，并優(yōu)于所有的基線模型，表明了本文框架的有效性。此外，推導(dǎo)出的規(guī)則還能夠解釋我們?yōu)槭裁匆蛴脩敉扑]這個(gè)項(xiàng)目，同時(shí)也提高了推薦模型的可解釋性。進(jìn)一步的分析表明，我們基于多任務(wù)學(xué)習(xí)的組合方法（帶有BPRMF的和NCF的$RuleRec_{two}）在不同規(guī)則數(shù)下的性能優(yōu)于兩步法。不同關(guān)聯(lián)規(guī)則的組合有助于獲得更好的推薦結(jié)果。
參考文獻(xiàn)
后續(xù)我們會(huì)篩選出在我們實(shí)踐中帶來(lái)提升或者啟發(fā)的工作進(jìn)行細(xì)致的解讀與探討，歡迎關(guān)注我們的公眾號(hào)，也歡迎多交流，我是三品煉丹師: 一元。
煉丹筆記推薦算法煉丹筆記：序列化推薦系統(tǒng)
推薦算法煉丹筆記：電商搜索推薦業(yè)務(wù)詞匯表
推薦算法煉丹筆記：推薦系統(tǒng)采樣評(píng)估指標(biāo)及線上線下一致性問(wèn)題
推薦算法煉丹筆記：CTR點(diǎn)擊率預(yù)估系列入門手冊(cè)
推薦算法煉丹筆記：科學(xué)調(diào)參在模型優(yōu)化中的意義
推薦算法煉丹筆記：如何讓你的推薦系統(tǒng)具有可解釋性？
2020年推薦系統(tǒng)工程師煉丹手冊(cè)
與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖總結(jié)
以上是生活随笔為你收集整理的推荐算法炼丹笔记：如何让你的推荐系统具有可解释性？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 推荐算法炼丹笔记：科学调参在模型优化中的
- 下一篇： 推荐算法炼丹笔记：CTR点击率预估系列入