Which Is Plagiarism: Fashion Image Retrieval Based on Regional Representation for Design Protection

作者 | Yining Lang, Yuan He, Fan Yang, Jianfeng Dong, Hui Xue

單位 | 阿里；浙江工商大學(xué)；AZFT

會(huì)議｜CVPR2020

paper地址

概述

在服裝領(lǐng)域，雖然打假一直不斷，但盜版抄襲問(wèn)題依舊普遍存在，而且從線上線下，抄襲手段越來(lái)越刁鉆。目前來(lái)看，服裝領(lǐng)域的抄襲有以下三類

?圖片盜用

? 抄襲成本很低，很容易被平臺(tái)的圖片檢索系統(tǒng)鎖定

?創(chuàng)意盜版

? 抄襲成本稍高，但基于相似度度量的算法，可以對(duì)它們進(jìn)行召回和治理

?對(duì)服裝的某些區(qū)域進(jìn)行修改

抄襲成本高，需要人工審核發(fā)現(xiàn)，打假成本也高

兩組盜版示例，其中每組中左圖為正版服裝，右圖為盜版服裝

盜版服裝檢索的難點(diǎn)

盜版服裝的形式層出不窮，有些盜版服裝跟原圖比較相似，但是有些并不相似

而且有些盜版服裝與原創(chuàng)服裝屬于不同的類型，提高了網(wǎng)絡(luò)訓(xùn)練時(shí)的要求

盜版服裝的定義

作為盜版服裝檢索領(lǐng)域的首次工作，作者對(duì)盜版服裝的定義是整體上抄襲原版服裝設(shè)計(jì)和風(fēng)格，服裝修改的局部區(qū)域數(shù)小于等于2

將圖像中的服裝分為五個(gè)區(qū)域，包括領(lǐng)子、胸部、腰部和兩個(gè)袖子區(qū)域

方法

基于三元組的損失函數(shù)（for 相似性檢索）

$$\begin{array}{c}{\mathcal{L}}_{tri}\left(I,I^{+},I^{?}\right)={\sum }_{r=1}^R\max \left(D_r^{I,I^{+}}?D_r^{I,I^{?}}+m,0\right)\\ {\mathcal{L}}_{tra}={\sum }_{n=1}^N{\mathcal{L}}_{tri}\left(I,I^{+},I^{?}\right)\end{array}$$

基于三元組的損失函數(shù)（for 盜版檢索）

$$\begin{array}{c}{\mathcal{L}}_{tri}^{\prime }\left(I,I^{+},I^{?}\right)={\sum }_{r=1}^R\max \left(D_r^{I,I^{+}}?D_r^{I,I^{?}}+m,0\right)?{\lambda }_r\\ {\alpha }_{tri}=\frac{\mathrm{avg}\left\{{\Vert f_r(I)?f_r\left(I^{+}\right)\Vert }_2;r=1,2,\dots R\right\}}{\max \left\{{\Vert f_r(I)?f_r\left(I^{+}\right)\Vert }_2;r=1,2,\dots R\right\}}\\ {\mathcal{L}}_{pla}={\sum }_{n=1}^N\left[{\mathcal{L}}_{tri}^{\prime }\left(I,I^{+},I^{?}\right)?{\alpha }_{tri}\right]\end{array}$$

網(wǎng)絡(luò)框架

PS-Net總體框架

Network Backbone

HR-Net提取圖片的特征

? HR-Net 的多分辨率子網(wǎng)并行連接，使得每一個(gè)高分辨率到低分辨率的表征都從其它并行表示中反復(fù)接受信息，從而得到豐富的高分辨率表征

? 但HR-Net不是必須的，可以用ResNet、VGG-Net 等替代

Landmark Branch

關(guān)鍵點(diǎn)估計(jì)分支，為劃分區(qū)域做準(zhǔn)備，通過(guò)反卷積進(jìn)行上采樣

Retrieval Branch

聚合局部區(qū)域的特征進(jìn)行檢索

根據(jù) Landmark Branch 得到的關(guān)鍵點(diǎn)預(yù)測(cè)和 輸出的熱力圖，得到特定局部區(qū)域在特征圖上的位置

再根據(jù)特定區(qū)域在特征圖上的位置，通過(guò)ROI pooling得到 Retrieval Branch 的特征圖中該區(qū)域相應(yīng)的局部特征圖

Plagiarized Fashion 數(shù)據(jù)集

?總共60,000張圖片,其中40,000用于訓(xùn)練 20,000用于測(cè)試

?包括4類服裝：短袖T恤、長(zhǎng)袖上衣、外套以及連衣裙

?圖片從淘寶網(wǎng)爬取并經(jīng)過(guò)專家標(biāo)注

不同類型服裝通常被篡改的部位不同

總結(jié)

?提出了一個(gè)新的抄襲服裝檢索問(wèn)題

?建立了新的用于抄襲服裝檢索的數(shù)據(jù)集Plagiarism Fashion

?提出了一種基于區(qū)域表示的多任務(wù)網(wǎng)絡(luò)PS-Net且達(dá)到了SOTA

?PS-Net還可以用于傳統(tǒng)的服裝檢索和關(guān)鍵點(diǎn)估計(jì)任務(wù)

總結(jié)

以上是生活随笔為你收集整理的[论文阅读]Which Is Plagiarism: Fashion Image Retrieval Based on Regional Representation for Design Prote的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。