(论文阅读笔记1)Collaborative Metric Learning(一)(WWW2017)
一、摘要
????度量學習算法產生的距離度量捕獲數(shù)據之間的重要關系。這里,我們將度量學習和協(xié)同過濾聯(lián)系起來,提出了協(xié)同度量學習(CML),它可以學習出一個共同的度量空間來編碼用戶偏好和user-user 和 item-item的相似度。
二、背景
2.1 Metric Learning
???? 令χ={x1,x2,…,xn}是空間Rm上的一個數(shù)據集。
相似對記為:
非相似對記為:
D={(xi,xj)|xi和xj被認為是不相似的}
最普通的度量學習方法采用的是馬氏距離度量:
其中 A是空間Rm×m上的半正定矩陣。這個式子將輸入 x映射到空間Rm上,且滿足一些期望的限制。有很多方法來創(chuàng)建這樣一個距離,最常用的方法是全局法,來解決如下凸優(yōu)化問題:
minA∑(xi,xj)∈SdA(xi,xj)2st.∑(xi,xj)∈DdA(xi,xj)2≥1andA≥0
還有其他一些方法,比如非線性轉換函數(shù),比如核函數(shù)和神經網絡,可以提高度量的準確性。
2.2 Metric Learning for kNN
???? 上邊的全局優(yōu)化本質上式試圖學習一種距離:它將相似的放在一起,將不相似的盡量分開。另一方面,如果學習到的度量被用作knn分類,只要保證目標與k個近鄰共享一個類標就足夠了。
???? 具體來說,給定一個輸入x,我們把離x近的數(shù)據點作為它的target neighbors。并且假設x的target neighbors構建了不同類標之間的邊界。不同類標的輸入侵入邊界被作為importors。這里,學習的目標就是最小化importors的個數(shù)。
一種為人知模型是LMNN,它使用2個損失函數(shù)來表達上述目標函數(shù)。
1. LMNN定義了pull loss:
Lpull(d)=∑j→id(xi,xj)2
其中,j是i的target neighbor。
2. push loss:
其中,如果 i和k擁有同一個類標,則 yik=1,否則, yik=0 [z]+=max(z,0).完整的損失函數(shù)是結合上述兩個損失函數(shù), 可以通過半正定編程來進行優(yōu)化。
2.3 Collaborative Filtering
???? 這里重點關注隱性反饋的CF,傳統(tǒng)的CF算法是基于用戶相似計算出的。MF是一種流行的CF算法,普通的MF模型設計為用戶的顯性反饋,它是通過將users 和items映射到潛在因子空間上,那么user-item的關系可以通過潛在因子的乘積獲得。
rij記為用戶i對itemj的打分,用戶向量ui→∈Rr和item向量vj→∈Rr,它們的乘積為ui→Tvj→,這個式子讓最優(yōu)化問題變?yōu)樽钚』仙系木秸`差:
其中, K是分數(shù)集合, λu,λv是 L2正則化的超參數(shù)。
隱性反饋(Implicit feedback)和貝葉斯個性(Bayesian personalized ranking)化排序略過,感興趣的可以自己查詢資料。
總結
以上是生活随笔為你收集整理的(论文阅读笔记1)Collaborative Metric Learning(一)(WWW2017)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 最优化学习笔记(十)——对偶线性规划
- 下一篇: c:forEach varStatus属