引言

服裝搭配是人們?nèi)粘Ｉ钪胁豢扇鄙俚闹匾糠?#xff0c;但并不是所有人都擅長服裝搭配。如下圖所示，一些缺少審美感知的人經(jīng)常會困擾于以下三個(gè)問題：1）互補(bǔ)服裝（上衣、下衣）之間兼容與否；2）導(dǎo)致互補(bǔ)服裝不兼容的因素是什么；3）可供選擇的替換服裝有哪些。

事實(shí)上，近年來有許多研究工作已經(jīng)圍繞服裝搭配和服裝推薦展開。現(xiàn)有的研究工作主要是應(yīng)用深度神經(jīng)網(wǎng)絡(luò)對服裝圖像或文本描述進(jìn)行特征提取，進(jìn)而對互補(bǔ)服裝的兼容性進(jìn)行建模。然而由于深度神經(jīng)網(wǎng)絡(luò)的可解釋性較差，現(xiàn)有的技術(shù)大多只能判斷互補(bǔ)服裝之間的搭配與否，并不能綜合解決服裝搭配相關(guān)的三個(gè)關(guān)鍵問題。

為此，本文提出了一種基于屬性模板引導(dǎo)的可解釋服裝搭配方法，通過將神經(jīng)網(wǎng)絡(luò)和矩陣分解相結(jié)合，全面解決互補(bǔ)服裝的搭配與否，不和諧因素識別和替換服裝的檢索問題。

模型

為解決問題 2 和 3，作者希望通過學(xué)習(xí)一些潛在的基于屬性的兼容搭配模板，來作為搭配參考，以解釋不兼容搭配套裝中的不和諧因素，即不和諧屬性。為此，作者提出了一個(gè)基于屬性模板引導(dǎo)的可解釋服裝搭配模型（PAICM）。模型的整體框架如下：

作者首先通過預(yù)訓(xùn)練的服裝屬性分類網(wǎng)絡(luò)，得到服裝的語義屬性表示?；讷@取的語義屬性表示，作者通過多層感知機(jī)（MLP）建?；パa(bǔ)服裝的兼容性，以判斷互補(bǔ)服裝的兼容與否。同時(shí)作者使用非負(fù)矩陣分解（NMF），分別從搭配正例和負(fù)例套裝中學(xué)習(xí)得到基于服裝屬性的兼容和不兼容搭配模板。

其中，兼容搭配模板可以作為參考來解釋不兼容互補(bǔ)服裝中的不和諧因素，并對該不和諧屬性進(jìn)行修改，進(jìn)而檢索可供替換的互補(bǔ)服裝。為了促進(jìn)服裝兼容性建模和兼容搭配模板學(xué)習(xí)的效果，作者巧妙地利用貝葉斯個(gè)性化排序算法（BPR）將兩者有機(jī)地聯(lián)合起來。?

接下來是對模型的具體介紹。

語義屬性表示?

由于現(xiàn)有公開的服裝搭配數(shù)據(jù)集缺少對服裝屬性的標(biāo)記，所以作者使用 DeepFashion 數(shù)據(jù)集中帶有屬性標(biāo)記的 Consumer-to-shop Clothes Retrieval Benchmark 作為輔助數(shù)據(jù)集，并對每種服裝屬性都預(yù)訓(xùn)練了一個(gè)分類器。之后，作者將服裝搭配數(shù)據(jù)集中的服裝輸入預(yù)訓(xùn)練好的屬性分類器中，并對得到的各屬性分類結(jié)果進(jìn)行拼接，從而得到長度為 M 的向量作為服裝的語義屬性表示。

互補(bǔ)服裝兼容性建模?

為了判斷互補(bǔ)服裝兼容與否，作者將上衣和下衣的語義屬性表示（和）輸入到用于尋找服裝兼容性計(jì)算空間的 MLP，得到服裝的隱含表示和，其中 t 和 b 分別表示上衣和下衣。基于這些隱含表示，模型定義上衣 i 和下衣 j 的兼容性得分如下：

作者期望正例套裝中上衣 i 和下衣 j 的兼容性得分要高于負(fù)例套裝中上衣 i 和下衣 k 的兼容性得分。因此，可得到套裝之間的 BPR 損失函數(shù)如下：

搭配模板學(xué)習(xí)

物以類聚，人以群分。作者假設(shè)搭配的套裝之間會共享一些兼容的屬性模式（例如：{田園風(fēng)、碎花、亞麻}），不搭配的套裝之間也會具有一些潛在的不兼容的屬性模式（例如：{男友風(fēng)、OL、粉色}）。因此，作者將搭配正例套裝的語義屬性拼接并組成搭配正例矩陣，并利用 NMF 來挖掘潛在的兼容搭配模板如下：

其中，P 是兼容搭配模板矩陣，它的每一列都是一個(gè)長度為 2M 兼容搭配模板，表示如下：

其中是兼容搭配模板的數(shù)量。

同樣地，作者從搭配負(fù)例套裝中分解出不兼容搭配模板矩陣 U。最終可以獲得 NMF 損失函數(shù)如下：

對于分解得到的搭配模板，作者將其表示為上衣屬性模板和下衣屬性模板的級聯(lián)，即，并通過可以映射到服裝兼容性計(jì)算空間的 MLP 得到上衣屬性模板和下衣屬性模板的隱含表示和。在此，我們定義搭配模板自身的兼容性如下：

為了使互補(bǔ)服裝的兼容性建模和搭配模板的學(xué)習(xí)相互促進(jìn)，作者首先利用歐氏距離從搭配模板集合中分別找到與正例套裝和負(fù)例套裝最接近的兼容搭配模板和不兼容搭配模板。作者期望該兼容搭配模板的兼容性得分要高于該不兼容搭配模板的兼容性得分，因此，可以得到潛在搭配模板之間的 BPR 損失函數(shù)如下：

綜合上述的三個(gè)損失函數(shù)，可以得到模型的目標(biāo)方程如下：

解釋和建議?

為了解釋不兼容套裝中不和諧屬性，作者借助由上述模型學(xué)習(xí)得到的兼容搭配模板作為參考，找到不和諧屬性，根據(jù)不和諧屬性對不兼容套裝的語義表示進(jìn)行屬性修改，并根據(jù)修改后的語義表示檢索新的服裝。如下圖所示，首先，作者通過計(jì)算歐式距離，找到與不兼容套裝最接近的兼容搭配模板，并計(jì)算和每個(gè)屬性表示的距離，從而判斷不兼容互補(bǔ)服裝中的不和諧屬性，表示如下：

其中表示第 z 個(gè)屬性的可能取值的個(gè)數(shù)。對于不兼容套裝中的不和諧屬性，作者根據(jù)兼容搭配模板的屬性表示對其進(jìn)行相應(yīng)替換，從而得到新的套裝的語義屬性表示。基于此，利用歐氏距離，即可檢索可用于替換的服裝，從而全面完成服裝搭配任務(wù)。

實(shí)驗(yàn)

互補(bǔ)服裝兼容性建模性能實(shí)驗(yàn)

作者在 FashionVC 服裝搭配數(shù)據(jù)集上測試了模型針對互補(bǔ)服裝兼容性建模的效果。具體來說，作者采用多種互補(bǔ)服裝兼容性判斷模型作為基準(zhǔn)方法，以 AUC 作為評價(jià)指標(biāo)，具體結(jié)果如下：

實(shí)驗(yàn)結(jié)果證明了 PAICM 模型將服裝的語義屬性表示作為服裝的表征，并結(jié)合潛在兼容/不兼容搭配模板的學(xué)習(xí)，可以在互補(bǔ)服裝兼容性建模任務(wù)中取得相比現(xiàn)有方法更好的性能。

此外，由于潛在搭配模板的學(xué)習(xí)是模型的重要組成部分，作者探究了分解搭配模板的數(shù)量對互補(bǔ)服裝兼容性建模性能的影響，其實(shí)驗(yàn)結(jié)果如下：

從圖中可以看出，當(dāng)分解搭配模板的數(shù)量為 40-90 時(shí)，互補(bǔ)服裝兼容性建模性能相對較為穩(wěn)定，同時(shí)也側(cè)面反映出模型對分解搭配模板的數(shù)量并不十分敏感。

為了更直觀地展示搭配模板，作者檢索了與兼容/不兼容搭配模板最接近的兼容/不兼容套裝，并根據(jù)每個(gè)搭配模板的語義語義表示，列舉了潛在搭配模板中較為顯著的屬性特征如下：

從圖中的套裝可以看出，兼容/不兼容搭配模板內(nèi)部分別包含了一些兼容/不兼容的屬性模式。此外，作者發(fā)現(xiàn)每個(gè)兼容搭配模板包含的兼容屬性特征確實(shí)可以作為一種參考，來解釋不兼容套裝中的不和諧屬性。

兼容搭配模板屬性修改性能實(shí)驗(yàn)

為了測試 NMF 在分解兼容/不兼容搭配模板方面的效果，作者將 NMF 與 K-means 算法進(jìn)行了對比。其中，作者將 K-means 算法得到的聚類中心作為其“潛在搭配模板”。然后，作者利用這些搭配模板對不兼容搭配套裝的不和諧屬性進(jìn)行修改替換，并計(jì)算屬性修改后的不兼容搭配套裝的兼容性得分。作者采用測試集中不兼容搭配套裝經(jīng)屬性修改后兼容性得到提高的樣本比例作為評價(jià)指標(biāo)，兩種算法的對比結(jié)果如下：

從圖中可以看出，在分解出相同數(shù)量搭配模板的情況下，基于 NMF 的屬性修改在提高不兼容套裝兼容性方面優(yōu)于 K-means 算法。

為了直觀地展示 NMF 分解得到的兼容搭配模板的屬性修改能力，作者也列舉了部分屬性修改的實(shí)例如下：

對比上圖中原始的不兼容套裝和修改屬性后的套裝，我們確實(shí)可以看到修改屬性后的套裝兼容性得到提高，而且修改后的套裝與原始套裝的總體風(fēng)格基本保持一致。因此這種屬性的修改相對容易被人們所接受。

綜合上述的實(shí)驗(yàn)結(jié)果，我們可以看出本文所提模型不僅在互補(bǔ)服裝兼容性建模上有較好的性能，而且能夠綜合地完成互補(bǔ)服裝之間兼容與否、導(dǎo)致不兼容的屬性是什么、有哪些可供選擇的服裝等三個(gè)服裝搭配領(lǐng)域中的關(guān)鍵問題。

總結(jié)

作者提出了一種基于屬性模板引導(dǎo)的可解釋服裝搭配方法。該方法不僅能夠建?；パa(bǔ)服裝的兼容性，而且能夠解釋不兼容搭配套裝中的不兼容屬性并給出可供選擇的服裝建議，全面地解決服裝搭配問題。其中，作者利用 NMF 挖掘潛在的搭配模板，并以此作為參考對不兼容搭配套裝中的不和諧屬性進(jìn)行解釋和修改。

實(shí)驗(yàn)結(jié)果證明該模型有較好的互補(bǔ)服裝兼容性建模性能，同時(shí)也證明 NMF 在潛在搭配模板分解中有較好的效果。這篇文章為可解釋的服裝搭配提供了一種新的思路，是一篇值得分享的文章。

參考文獻(xiàn)

[1] Xuemeng Song, Fuli Feng, Jinhuan Liu, Zekun Li, Liqiang Nie, and Jun Ma. 2017. NeuroStylist: neural compatibility modeling for clothing matching. In Proceedings of the ACM International Conference on Multimedia. ACM, 753–761.?

[2] Xuemeng Song, Fuli Feng, Xianjing Han, Xin Yang, Wei Liu, and Liqiang Nie. 2018. Neural compatibility modeling with attentive knowledge distillation. In Proceedings of the International ACM SIGIR Conference on Research and Development in Information Retrieval. 5–14.?

[3] Al-Halah Ziad, Stiefelhagen Rainer, and Grauman Kristen. 2017. Fashion forward: forecasting visual style in fashion. In Proceedings of the IEEE International Conference on Computer Vision. IEEE, 388–397.?

[4] Ziwei Liu, Ping Luo, Shi Qiu, Xiaogang Wang, and Xiaoou Tang. 2016. DeepFashion: powering robust clothes recognition and retrieval with rich annotations. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 1096–1104.?

[5] Xiangnan He, Hanwang Zhang, Min Yen Kan, and Tat Seng Chua. 2016. Fast matrix factorization for online recommendation with implicit feedback. In Proceedings of the International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 549–558.?

[6] Xiang Wang, Xiangnan He, Meng Wang, Fuli Feng, and Tat-Seng Chua. 2019. Neural graph collaborative filtering. In ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 165-174.?

[7] Wei Xu, Xin Liu, and Yihong Gong. 2003. Document clustering based on nonnegative matrix factorization. In Proceedings of the international ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 267–273.

關(guān)于作者

韓賢靜，山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院博士研究生。2017年9月于東北大學(xué)取得工學(xué)學(xué)士學(xué)位。研究方向主要集中在信息檢索和多媒體計(jì)算等領(lǐng)域。在國際權(quán)威期刊和國際頂級學(xué)術(shù)會議，包括IEEE Transactions on Image Processing、ACM SIGIR、ACM MM等發(fā)表相關(guān)論文。

宋雪萌，山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院助理教授。2016年10月取得新加坡國立大學(xué)計(jì)算機(jī)科學(xué)系博士學(xué)位。此前，于2012年7月取得中國科學(xué)技術(shù)大學(xué)，電子工程與信息科學(xué)系學(xué)士學(xué)位。研究方向主要集中在信息檢索和社會網(wǎng)絡(luò)分析等領(lǐng)域。在國際權(quán)威期刊和國際頂級學(xué)術(shù)會議，包括ACM SIGIR, IJCAI, AAAI, ACM MM, ACM Transactions on Information Systems 等發(fā)表相關(guān)論文。此外，參與編寫由Morgan& Claypool出版的著作《Learning from Multiple Social Networks》。擔(dān)任ACM TOIS, IEEE TMM, IEEE TIP, ICMR 和 SIGIR 等國際期刊和會議的審稿人。

尹建華，山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院助理教授。2017年6月取得清華大學(xué)博士學(xué)位，博士期間赴伊利諾伊大學(xué)香檳分校Prof. Jiawei Han實(shí)驗(yàn)室交流訪問。2017年7月加入山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，主要從事數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)方面的研究工作。在國際頂級學(xué)術(shù)會議發(fā)表多篇一作論文，包括ACM SIGKDD, IEEE ICDE等，單篇最高引用超過100次。擔(dān)任ACM SIGKDD，IEEE TKDE，ACM TKDD等國際期刊會議的審稿人。

王英龍，齊魯工業(yè)大學(xué)（山東省科學(xué)院）黨委書記。兼任山東省科協(xié)副主席，山東省物聯(lián)網(wǎng)協(xié)會會長，山東省電子政務(wù)和大數(shù)據(jù)發(fā)展專家咨詢委員會專家。2002年起享受國務(wù)院政府特貼，2003年被評為山東省有突出貢獻(xiàn)的中青年專家。主要研究方向?yàn)槲锫?lián)網(wǎng)技術(shù)、信息安全、醫(yī)學(xué)人工智能。承擔(dān)完成國家863、國家科技支撐計(jì)劃等重大項(xiàng)目20余項(xiàng)；以第一完成人獲得山東省科技進(jìn)步一等獎(jiǎng)2項(xiàng)、二等獎(jiǎng)4項(xiàng)、三等獎(jiǎng)2項(xiàng)；主持參與制修訂國家標(biāo)準(zhǔn)9部，出版專著1部，發(fā)表高水平學(xué)術(shù)論文40余篇，其中SCI論文15篇，申請授權(quán)專利30余項(xiàng)。

聶禮強(qiáng)，山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授，博士生導(dǎo)師。擔(dān)任山東大學(xué)泰山學(xué)堂/精英班教授小組組長、山大-智洋人工智能聯(lián)合實(shí)驗(yàn)室主任、山東省人工智能研究院院長。其于2009年和2013年分別從西安交通大學(xué)和新加坡國立大學(xué)獲得學(xué)士和博士學(xué)位。博士畢業(yè)后，在新加坡國立大學(xué)計(jì)算機(jī)學(xué)院以研究員身份從事科研工作三年半。2016年入選“齊魯青年學(xué)者”計(jì)劃和第十三批國家“青年千人”計(jì)劃，2018年獲得山東省杰出青年基金。主要研究興趣為多媒體計(jì)算和信息檢索。近五年在國際CCF A類會議或ACM/IEEE匯刊發(fā)表論文百余篇，如ACM MM、TIP、SIGIR、TOIS，專著一部；截止2019年9月，Google Scholar引用5200余次。聶禮強(qiáng)博士曾擔(dān)任多個(gè)國際著名期刊的客座編委，如IEEE Trans. On Big Data, ACM Transactions on Multimedia (ToMM)等；擔(dān)任國際會議ICIMCS 2017 程序委員會主席和Information Science 編委；擔(dān)任CCF A類會議ACM MM 2018/2019領(lǐng)域主席；擔(dān)任PCM 2018 special session主席。

點(diǎn)擊以下標(biāo)題查看更多往期內(nèi)容：?

• 巧用文本語境信息：基于上下文感知的向量優(yōu)化

• 雇水軍刷分有效嗎？虛假評論的影響研究分析

• 基于深度強(qiáng)化學(xué)習(xí)的謠言早期檢測模型
  

• KDD 2019 | 使用神經(jīng)網(wǎng)絡(luò)為A*搜索算法賦能

• 讓陌生人說出你的興趣：基于深度學(xué)習(xí)的推薦模型
  

• 基于雙層注意力機(jī)制的異質(zhì)圖深度神經(jīng)網(wǎng)絡(luò)
  

• 堅(jiān)守還是離開？初期城市移民流失預(yù)測問題分析
  

  ????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 下載論文 & 源碼

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的SIGIR 2019 | 为什么你的毛衣显胖又显黑？这个算法给你答案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。