本文轉(zhuǎn)載自機(jī)器之心

僅從一個(gè)人的抖音、快手、騰訊視頻的觀看記錄里，我們能發(fā)現(xiàn)什么？這篇被信息檢索領(lǐng)域頂級國際會議 SIGIR 接受為長文章的論文可以告訴你。

近日，騰訊看點(diǎn)推薦團(tuán)隊(duì)、Google Research 和中科大的研究工作首次證實(shí)，僅依靠用戶視頻新聞?dòng)^看記錄，就可以精確地推測出用戶的各種個(gè)人信息信息，包括但不限于用戶年齡段、性別、喜好、人生狀況（例如單身/已婚/懷孕等）、職業(yè)、學(xué)歷等信息，甚至是否有心理抑郁暴力傾向。

這一客觀發(fā)現(xiàn)和研究方法將有利于改進(jìn)現(xiàn)有的一些公共服務(wù)質(zhì)量，提供相關(guān)輔助依據(jù)實(shí)現(xiàn)更為精準(zhǔn)的政府決策，也可以為商家和廣告商等帶來更大的利潤，同時(shí)也會進(jìn)一步推動(dòng)隱私保護(hù)的相關(guān)研究和相關(guān)法案（可以想像以抖音快手這種短視頻 APP 為例，每天每個(gè)常規(guī)用戶可以產(chǎn)生數(shù)百乃至數(shù)千的點(diǎn)擊記錄，如此巨大的用戶行為數(shù)據(jù)潛在地包含了我們無法想象的個(gè)人隱私數(shù)據(jù)）。該項(xiàng)研究已經(jīng)被信息檢索領(lǐng)域頂級國際會議 SIGIR 接受為長文章。以下主要針對該文章的技術(shù)部分進(jìn)行總結(jié)介紹。

論文題目：Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation

鏈接：https://arxiv.org/pdf/2001.04253.pdf

開源代碼：

https://github.com/fajieyuan/sigir2020_peterrec

會議：SIGIR2020

摘要：推導(dǎo)遷移學(xué)習(xí)對計(jì)算機(jī)視覺和 NLP 領(lǐng)域產(chǎn)生了重大影響，但尚未在推薦系統(tǒng)廣泛使用。雖然大量的研究根據(jù)建模的用戶-物品交互序列生成推薦，其中很少嘗試表征和遷移這些模型從而用于下游任務(wù)（數(shù)據(jù)樣本通常非常有限）。

在本文中，我們深入研究了通過學(xué)習(xí)單一用戶表征用戶各種不同的下游任務(wù)，包括跨域推薦和用戶畫像預(yù)測。優(yōu)化一個(gè)大型預(yù)訓(xùn)練網(wǎng)絡(luò)并將其適配到下游任務(wù)是解決此類問題的有效方法。但是，微調(diào)通常要重新訓(xùn)練整個(gè)網(wǎng)絡(luò)，優(yōu)化大量的模型參數(shù)，因此從參數(shù)量角度微調(diào)是非常低消效的。為了克服這個(gè)問題，我們開發(fā)了一種參數(shù)高效的遷移學(xué)習(xí)架構(gòu)，稱為 PeterRec。PeterRec 可以快速動(dòng)態(tài)地配置成各種下游任務(wù)。具體來說，PeterRec 通過注入一些的的小型但是極具表達(dá)力的神經(jīng)網(wǎng)絡(luò)，使得預(yù)訓(xùn)練參數(shù)在微調(diào)過程中保持不變。我們進(jìn)行大量的實(shí)驗(yàn)和對比測試以展示學(xué)習(xí)到的用戶表示在五個(gè)下游任務(wù)中有效的。此外，我們證實(shí)了 PeterRec 可以在多個(gè)領(lǐng)域進(jìn)行高效的遷移學(xué)習(xí)時(shí)可以達(dá)到與微調(diào)所有參數(shù)相當(dāng)或有時(shí)更好的性能。

序言：

在過去的十年中，社交媒體平臺和電子商務(wù)系統(tǒng)（例如抖音，Amazon 或 Netflix）越來愈多的被使用。大量的點(diǎn)擊和購買互動(dòng)，以及其他用戶反饋是在此類系統(tǒng)中顯式或隱式創(chuàng)建的。

以抖音為例，常規(guī)用戶在每個(gè)周可能觀看成百上千個(gè)短視頻。與此同時(shí)，大量的研究表明這些用戶交互行為可以用來建模用戶對于物品的喜好。比較有代表性的深度學(xué)習(xí)模型，例如 GRU4Rec 和 NextItNet 在時(shí)序推薦系統(tǒng)任務(wù)中都取得了較大的成功。然而絕大多數(shù)已有工作僅僅研究推薦任務(wù)在同一平臺的場景，很少的工作嘗試學(xué)習(xí)一個(gè)通用用戶表征，并且將該用戶表征應(yīng)用到下游任務(wù)中，例如冷啟動(dòng)用戶場景，用戶畫像預(yù)測。

為了解決這個(gè)挑戰(zhàn)，本文嘗試一種無監(jiān)督訓(xùn)練方式預(yù)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，然后將此神經(jīng)網(wǎng)絡(luò)遷移到下游任務(wù)中。為此，論文需要至少解決三個(gè)問題；（1）構(gòu)造一個(gè)有效的預(yù)訓(xùn)練模型，能夠建模超長用戶點(diǎn)擊序列；（2）設(shè)計(jì)一種微調(diào)策略，能夠?qū)㈩A(yù)訓(xùn)練網(wǎng)絡(luò)適配到下游任務(wù)。目前為止，沒有相關(guān)文獻(xiàn)證實(shí)這種無監(jiān)督學(xué)習(xí)的用戶表征是否對其他場景有幫助。（3）設(shè)計(jì)一個(gè)適配方法，能夠使得不同任務(wù)都能充分利用預(yù)訓(xùn)練網(wǎng)絡(luò)參數(shù)，從而不需要微調(diào)整個(gè)網(wǎng)絡(luò)，達(dá)到更加高效的遷移學(xué)習(xí)方式。

圖1:PeterRec進(jìn)行用戶畫像預(yù)測示意圖

注意：PeterRec 不需要借助于任何圖像和文本特征，僅需要用戶點(diǎn)擊物品 ID 即可。中間網(wǎng)絡(luò)為大量堆疊的空洞卷積網(wǎng)絡(luò)。

為了達(dá)到以上目標(biāo)，研究者提出采用空洞卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建大型的預(yù)訓(xùn)練模型，采用一定空洞率設(shè)置的多層卷積網(wǎng)絡(luò)可以實(shí)現(xiàn)可視域指數(shù)級增長，從而捕獲和建模超長的用戶點(diǎn)擊行為，這一優(yōu)勢是目前很多時(shí)序網(wǎng)絡(luò)難以達(dá)到的，例如經(jīng)典的 RNN 網(wǎng)絡(luò)建模長序列時(shí)通常會遇到梯度消失和爆炸問題，并且并行訓(xùn)練低效，Transformer 等知名 NLP 網(wǎng)絡(luò)對顯存需求和復(fù)雜度也會隨著序列長度以二次方的級增加。同時(shí)為了實(shí)現(xiàn)對預(yù)訓(xùn)練網(wǎng)絡(luò)參數(shù)的最大化共享，論文提出了一種模型補(bǔ)丁方式，類似于植物嫁接技術(shù)，只需要在預(yù)訓(xùn)練網(wǎng)絡(luò)插入數(shù)個(gè)的模型補(bǔ)丁網(wǎng)絡(luò)，既可以實(shí)現(xiàn)預(yù)訓(xùn)練網(wǎng)絡(luò)的快速遷移，效果甚至好于對整個(gè)模型全部微調(diào)。研究主要貢獻(xiàn)：

提出一種通用用戶表征學(xué)習(xí)架構(gòu)，首次證實(shí)采用無監(jiān)督或者自監(jiān)督的預(yù)訓(xùn)練網(wǎng)路學(xué)習(xí)用戶點(diǎn)擊行為可以內(nèi)用來推測用戶的屬性信息。這一發(fā)現(xiàn)將有望改進(jìn)很多公共服務(wù)，帶來更大的商業(yè)利潤，同時(shí)也會引發(fā)甚至推動(dòng)對于隱私保護(hù)的相關(guān)問題的研究。

論文提出了一種非常有效的模型補(bǔ)丁網(wǎng)絡(luò)，網(wǎng)絡(luò)相對于原來的空洞卷積層參數(shù)量更小，但是具有同等表達(dá)能力。

論文提出了兩種模型補(bǔ)丁的插入方式，并行插入和串行插入

論文通過分割實(shí)驗(yàn)報(bào)告了很多有洞察的發(fā)現(xiàn)，可能會成為這個(gè)領(lǐng)域的未來一些研究方向

論文開源相關(guān)代碼和高質(zhì)量的數(shù)據(jù)集，從而推動(dòng)推薦系統(tǒng)領(lǐng)域遷移學(xué)習(xí)的研究，建立相關(guān)基準(zhǔn)。

方法：

圖1: PeterRec 預(yù)訓(xùn)練網(wǎng)絡(luò)（a）和微調(diào)網(wǎng)絡(luò)（b）的參數(shù)分布

本研究預(yù)訓(xùn)練網(wǎng)絡(luò)采用空洞卷積網(wǎng)絡(luò)，每層空洞因子以

增加，通過疊加空洞卷積層達(dá)到可視域指數(shù)級的增加，這一設(shè)計(jì)主要遵循時(shí)序模型 NextItNet[1]，如圖 1 所示。預(yù)訓(xùn)練優(yōu)化方式，本文采用了兩種自監(jiān)督方式，分別是單向自回歸方式[1]以及雙向遮掩法[2]，分別對應(yīng)因果卷積和非因果卷積網(wǎng)絡(luò)，如圖 2 所示。圖2: 采用空洞卷積網(wǎng)絡(luò)的幾種微調(diào)策略。（a）(b)為因果卷機(jī)，（c）(d)為非因果卷積

本文的微調(diào)方式非常簡單，采用直接移除預(yù)訓(xùn)練 softmax 層，然后添加新任務(wù)的分類層，另外，本文的主要貢獻(xiàn)是在預(yù)訓(xùn)練的殘差塊（圖 3（a））插入了模型補(bǔ)丁網(wǎng)絡(luò)，每個(gè)模型補(bǔ)丁有一個(gè)瓶頸結(jié)構(gòu)的殘差塊構(gòu)成，如圖 3（f）所示。本研究提出了幾種可選擇的插入方式，如圖 3（b）（c）（d）。注意（e）的設(shè)計(jì)效果非常差，文章分析很可能是因?yàn)槟Ｐ脱a(bǔ)丁的和操作，并行插入的和操作與原始?xì)埐罹W(wǎng)絡(luò)的和操作夾雜在一起，影響最終優(yōu)化效果。另外文中給出分析，通常模型補(bǔ)丁的參數(shù)量僅有原始空洞卷積不到十分之一的參數(shù)量，但是可以達(dá)到與所有參數(shù)一起優(yōu)化類似或者更好的效果。

圖3:（a）為原始?xì)埐顗K；（b）（c）（d）（e）為插入模型補(bǔ)丁后的微調(diào)殘差塊；（f）為模型補(bǔ)丁

實(shí)驗(yàn)：

本文作者進(jìn)行了大量的實(shí)驗(yàn)，并且論文會開源代碼和相關(guān)脫敏后的數(shù)據(jù)集。

實(shí)驗(yàn) 1

論文首次證實(shí)采用無監(jiān)督預(yù)訓(xùn)練方式非常有效，論文對比 PeterRec 的兩種設(shè)置，有無預(yù)訓(xùn)練下的實(shí)驗(yàn)效果，如圖 4. 圖中所示 PeterRec 大幅度超越 PeterZero，證實(shí)了本研究預(yù)訓(xùn)練的有效性。

圖4 PeterRec在有無預(yù)訓(xùn)練下的預(yù)測效果。PeterZero為無預(yù)訓(xùn)練初始化的PeterRec

實(shí)驗(yàn) 2

幾種微調(diào)方式比較，如圖 5 所示。圖中證實(shí) PeterRec 僅僅微調(diào)模型補(bǔ)丁和 softmax 層參數(shù)達(dá)到了跟微調(diào)所有參數(shù)一樣的效果，但是由于僅有少數(shù)參數(shù)參與優(yōu)化，可以很好的抗過擬合現(xiàn)象。

圖5 各種微調(diào)方式

FineAll 微調(diào)所有參數(shù)，FineCLS 只微調(diào)最后 softmax 層，FineLast1 微調(diào)最后一個(gè)空洞卷積層，FineLast2 微調(diào)最后兩個(gè)空洞卷積層。

實(shí)驗(yàn) 3

與常規(guī)的比較知名的 baseline 比較冷啟動(dòng)推薦效果和用戶畫像預(yù)測效果。具體分析可參見原文分析。

實(shí)驗(yàn) 4

在少量標(biāo)簽有效的情況下 PeterRec 效果。可以發(fā)現(xiàn) PeterRec 不僅超過 FineAll，而且相對于 FineAll 微調(diào)過程幾乎不會出現(xiàn)過擬合現(xiàn)象。

圖6少量target數(shù)據(jù)標(biāo)簽下 PeterRec vs. FineAll

論文在結(jié)論和未來工作部分說明 PeterRec 不僅僅可以用戶論文中的實(shí)驗(yàn)，甚至可以用來提前感知青少年心理健康，例如如果我們?nèi)绻狼嗌倌昝刻煊^看瀏覽的視頻信息，通過 PeterRec 僅需要少量的標(biāo)簽數(shù)據(jù)就可以預(yù)測出該少年是否心理健康，是否存在暴力傾向陰郁等問題，從而提前告知父母以便提前采取措施。

[1] A simple convolutional generative network for next item recommendation.Yuan, Fajie and Karatzoglou, Alexandros and Arapakis, Ioannis and Jose, Joemon M and He, Xiangnan, WSDM2019.

[2] Future Data Helps Training: Modeling Future Contexts for Session-based Recommendation. Yuan, Fajie and He, Xiangnan and Jiang, Haochuan and Guo,Guibing and Xiong, Jian and Xu, Zhezhao and Xiong, Yilin. WWW2020

總結(jié)

以上是生活随笔為你收集整理的仅需少量视频观看记录，就可以精准推断你的习惯的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。